跳到正文

多模態

文本之外的能力:視覺理解、圖文混合、音影片輸入輸出的模型與產品進展。

最新精選

第 181–200 條 · 共 243 條
10月21日週三
  1. Hugging Face Blog82

    Hugging Face 推出 TorchTPU:PyTorch 原生支援 TPU

    TorchTPU 讓 PyTorch 直接在 TPU 上執行,省去 torch_xla 與 JAX 的中介層。 - 核心功能:新增 TPU 作為 PyTorch 後端,支援 eager 與 torch.compile,提供 Pallas kernels、分散式訓練。

    推薦理由:TorchTPU 讓 PyTorch 直接在 TPU 上執行,省去 torch_xla 與 JAX 的中介層,提升開發效率與推理速度。

10月20日週二
  1. Hacker News (official RSS)85

    Mercury 3:擴散式 LLM 的規模化

    Mercury 3 是目前最強大的擴散式 LLM,速度可達 1,068 tokens/s,並支援 1M token 上下文。 - 效能對比:在多項基準上優於 GPT‑6 Luna 與 Claude Haiku 5.5。

    推薦理由:Mercury 3 以 diffusion 模型突破規模與速度,提供 1M 上下文及 1,068 tokens/s 的高效推論,對需要低延遲、長上下文的即時應用具備實際價值。

  2. AWS Machine Learning Blog79

    TwelveLabs Pegasus 1.5 現已於 Amazon Bedrock 上線

    Pegasus 1.5 現已在 Amazon Bedrock 上線,為長影片提供時間標記式結構化資料與多模態提示功能。 - 功能亮點:支援 2 小時長影片、即時處理,並可從 S3 直接讀取或以 base64 內嵌傳送。

    推薦理由:Pegasus 1.5 以時間標記與多模態提示提升影片分析效率,支援 2 小時長影片、即時處理,讀者可直接從 S3 讀取、支援 JSON 輸出,降低開發門檻,並可依此調整工作流程。

10月18日週日
  1. vLLM Releases86

    vLLM v0.32.0 正式發布:多項推理最佳化與多模態功能升級

    vLLM v0.32.0 正式發布,包含 814 次提交與 363 位貢獻者的新功能。 - 新增 /v1/systemone 端點,可處理結構化決策與分數查詢,並支援 Cloudflare/clef-omni、LiquidAI/d1-3B、DiffusionGemma 等模型。

    推薦理由:vLLM v0.32.0 引入多項高效推理最佳化與多模態支援,使用者可直接提升模型部署效能與功能擴充。

10月16日週五
  1. Hugging Face Blog72

    Granite Switch 4.1:一端點整合聊天、決策與語音功能

    Granite Switch 4.1 透過整合決策、語音與聊天功能,提供單一端點多工能力。 - Granite‑Switch‑4.1‑8B / 30B:內建 Decision aLoRA、Guardian aLoRA 及 Granite‑Speech‑5.0‑Turbo‑CTC(OpenASR 榜首 ASR),可即時切換對話、決策與轉錄。

    推薦理由:Granite Switch 4.1 透過整合決策、語音與聊天功能,提供單一端點多工能力,讀者可評估其在實務流程中的效益。

  2. Hugging Face Transformers Releases92

    Transformers v5.20.0 釋出多模態模型與分散式加速功能

    Transformers 5.20.0 釋出,新增多模態模型並加強分散式推理與量化支援。 - Muse Spark Open:Meta 816B 引數,1,048,576 token 上下文,支援文字、影像、音訊、影片輸入,專為代理編碼任務設計,提供 BF16 / NVFP4 檢查點。

    推薦理由:新版本提供多模態模型與高效分散式支援,開發者可直接整合至現有工作流程,並享受改進的量化與推理加速。

  3. Hugging Face Blog82

    Meta 發布 Muse Spark Open:開源權重多模態混合專家模型

    Meta 推出 Muse Spark Open,816B 引數的多模態混合專家模型,支援文字、影像、音訊與影片輸入,並具備程式設計與工具呼叫能力。 - 模型規模:總引數 816B,每個 token 活躍 42B,可使用 1M token 上下文視窗。

    推薦理由:Meta公佈的 Muse Spark Open 816B 引數模型,支援多模態程式設計與長上下文,對開發者可直接整合,並提供多種推理與工具呼叫介面。

10月15日週四
  1. Hugging Face Blog77

    Apertus 1.5 釋出跨模態、四倍長上下文與思考模式新功能

    Apertus 1.5 於 2026 年 7 月 24 日在 Hugging Face 以 Apache 2.0 授權釋出,新增跨模態理解、四倍長上下文、思考模式及工具使用最佳化。

    推薦理由:Apertus 1.5 以四倍上下文、跨模態能力及思考模式提升推理與工具使用,讀者可評估其在多模態任務與長文本推理中的應用潛力。

  2. Apple Newsroom80

    Apple 推出可摺疊 iPhone Duo,展開後螢幕比 iPhone 18 Pro Max 大 50%

    手機摺起來好收納,開啟後又能有更大的畫面,是 iPhone Duo 想解決的需求。Apple 推出這款可摺疊 iPhone,展開時內側螢幕比 iPhone 18 Pro Max 大 50%;摺起來時,外側螢幕是 5.4 吋,並採用雙電池設計。iPhone Duo 搭載 A20 Pro 與 iOS 27,也支援在畫面上並排顯示 Siri 和 Mail。Siri AI 會隨 iOS 27 以測試版推出,初期支援英文,且不會在歐盟首發。

    推薦理由:iPhone Duo 把大螢幕與可摺疊機身結合,文中也交代了展開、摺起時的螢幕尺寸,以及 Siri AI 的推出限制。

  3. Together AI Official Blog74

    Meta Muse Spark Open 模型在 Together AI 正式上線

    Meta Muse Spark Open 現已於 Together AI 正式上線,作為 Day 0 發表夥伴提供完整支援,專為長時間執行的AI 助理程式設計、電腦操作與多模態任務而設計。

    推薦理由:原文給出模型核心能力與價格,讀者可據此評估是否將其整合至現有的長上下文或AI 助理工作流程中。

  4. LMSYS Org Blog76

    SGLang 和 Miles 加入 Muse Spark Open 支援,並公佈多平臺效能測試

    大型多模態模型要在不同硬體上執行,常得處理長提示詞、圖片影片輸入和模型運算量大的問題。SGLang 和 Miles 加入 Muse Spark Open 支援,涵蓋推論、微調與多輪強化學習訓練;模型可讀取文字、圖片、影片和音訊,並支援 1M token 的上下文視窗。文章也列出 NVIDIA、AMD、Intel 和 TPU 平臺的支援進度,以及多組程式開發工作負載測試。在 8 張 B300 GPU 的 OpenHands 測試中,單一對話每位使用者每秒產生 543 個 token;128 個對話同時執行時,則為每位使用者每秒 61 個 token。這些數字來自特定硬體與測試設定,可用來瞭解不同工作量下的速度變化。

    推薦理由:文章整理 Muse Spark Open 在多種硬體上的支援方式與實測結果,並說明長提示詞和多輪程式開發工作如何影響推論速度。

10月14日週三
  1. Google DeepMind78

    Gemini 4 Argon:面向複雜任務的多模態推理模型發布

    Gemini 4 Argon 已正式發布,提供 1M token 限制的多模態推理能力,助力工程、金融、法律等領域解決複雜任務。 - 核心特性:多模態推理、深度編碼、長期推理 1M token,支援多步驟任務。

    推薦理由:Gemini 4 Argon 以多模態推理為核心,突破工程、金融、法律等領域複雜任務,並在多項基準上領先同類模型,為企業與研究者提供可落地的效能提升,並開放 API 供開發者快速整合,實現 1M token 限制,支援長期推理。

10月13日週二
  1. Unsloth AI Releases79

    Unsloth AI 推出瀏覽器使用、Qwen-Image-2.1-Turbo 影像生成與加速訓練功能

    Unsloth AI 推出可瀏覽、影像生成與加速訓練功能,讓本地模型即時查詢網頁並以 8 步完成影像創作。 - 瀏覽器使用:模型可在聊天框內開啟、閱讀、點選、輸入並滾動,支援本地模型與 API 提供者。

    推薦理由:Unsloth AI 推出可瀏覽、影像生成與加速訓練功能,讓本地模型即時查詢網頁並以 8 步完成影像創作,對開發者提升工作流程效率具有實際價值。

10月12日週一
10月10日週六
  1. cloudflare blog78

    推出 Clef-omni 全多模態模型,並加速 Clef、降價 Clef-flash

    Clef-omni 以單一 API 支援音訊、影像、文字與圖片的多模態決策,首次公開於 Cloudflare。 - 多模態支援:音訊 (wav/mp3)、影片 (mp4/webm)、圖片、文字,一次呼叫即可。

    推薦理由:Clef-omni 以單一 API 支援音訊、影像與文字,多模態決策模型的首次公開,為開發者提供更快、更便宜的工作流程選擇。

10月9日週五
10月8日週四
  1. Hugging Face Blog78

    多模態開源 d1 決策模型專為邊緣裝置打造

    d1-3B 與 d1-omni-600M 為 Liquid AI 發布的兩款多模態決策模型,專為邊緣裝置設計。 - 決策指數:在 Decision Index 0.2.1 上 d1-3B 以 48.57 分領先 4B、9B 及 35B-A3B。

    推薦理由:此模型在 Decision Index 0.2.1 上以 48.57 分領先 4B、9B 及 35B-A3B,且在 Jetson AGX Thor 上 16ms 回應速度,適合邊緣決策應用。可快速部署於 Jetson 系列,提供 50ms 內回答,適合需要即時決策的場景。