vLLM 宣佈推出 Meta Muse Spark Open 模型 Day 0 支援
vLLM 宣佈與 Meta Superintelligence Labs 合作,於 vLLM 實現對開源稀疏混合專家(MoE)模型 Muse Spark Open 的 Day 0 支援。
推薦理由:原文詳細說明模型的架構設計與硬體部署優勢,讀者可藉此評估大規模混合專家模型在跨硬體平臺上的執行效率與整合方式。
vLLM 宣佈與 Meta Superintelligence Labs 合作,於 vLLM 實現對開源稀疏混合專家(MoE)模型 Muse Spark Open 的 Day 0 支援。
推薦理由:原文詳細說明模型的架構設計與硬體部署優勢,讀者可藉此評估大規模混合專家模型在跨硬體平臺上的執行效率與整合方式。
SSR 以選擇式結構化推理取代自由形式推理,顯著降低多模態搜尋代理的推理延遲。 - 延遲降低:每回合推理延遲減少超過 90%,整體每題推理延遲下降 28–54%。
Jev 1.14.0 正式發布,並加入多模態影像支援、長上下文與新型別等實驗功能。 - 多模態影像:現有 Jev 1.13 已具備影像支援,可在 JSON 介面任意位置插入影像。 - 長上下文:允許更長的上下文長度(超出生產環境限制),但仍屬於「危險區」。 - 新型別「box」:返回單一邊界框,為未來更複雜決策型別做預覽。
多模態模型要投入工作流程,除了理解文字、圖片、檔案和影片,也需要能透過工具接續任務。這篇文章示範如何用 SGLang 部署 NVIDIA Nemotron 3.5 Super VL,並介紹它提供的連續批次處理、字首快取和推測解碼等服務功能。文中提到,模型在單張 RTX 6000 PRO 上搭配 MTP 達到 243.9 tok/s;其他比較資料則是作者依文中圖表所述。這份快速入門指南也列出啟動模型伺服器的指令,方便讀者開始部署。
大型多模態模型要在不同硬體上執行,常得處理長提示詞、圖片影片輸入和模型運算量大的問題。SGLang 和 Miles 加入 Muse Spark Open 支援,涵蓋推論、微調與多輪強化學習訓練;模型可讀取文字、圖片、影片和音訊,並支援 1M token 的上下文視窗。文章也列出 NVIDIA、AMD、Intel 和 TPU 平臺的支援進度,以及多組程式開發工作負載測試。在 8 張 B300 GPU 的 OpenHands 測試中,單一對話每位使用者每秒產生 543 個 token;128 個對話同時執行時,則為每位使用者每秒 61 個 token。這些數字來自特定硬體與測試設定,可用來瞭解不同工作量下的速度變化。
推薦理由:文章整理 Muse Spark Open 在多種硬體上的支援方式與實測結果,並說明長提示詞和多輪程式開發工作如何影響推論速度。
ElevenAgents 以自動化方式處理每月 22,000 則客服工單,平均回覆時間縮短至 60 秒,解決率達 65%。 - 解決率:65% 的工單由 AI 端完成,與人工客服相當。
三模態遮蔽擴散模型首次從零開始訓練,涵蓋文字、影像文字及音訊文字三種模態。研究系統分析了多模態尺度規律、模態混合比例、噪聲時間表、批次大小影響,並提出基於 SDE 的重引數化方法,消除批次大小調整需求。
Microsoft MAI-Image 2.6 與 MAI-Image 2.6-Flash 現已上線於 AI Gateway,使用者可透過單鍵 API 以一個金鑰生成或編輯影像。
Gemini 4 Argon 已正式發布,提供 1M token 限制的多模態推理能力,助力工程、金融、法律等領域解決複雜任務。 - 核心特性:多模態推理、深度編碼、長期推理 1M token,支援多步驟任務。
推薦理由:Gemini 4 Argon 以多模態推理為核心,突破工程、金融、法律等領域複雜任務,並在多項基準上領先同類模型,為企業與研究者提供可落地的效能提升,並開放 API 供開發者快速整合,實現 1M token 限制,支援長期推理。
EmbeddingGemma 2 已被改造成可在 MacBook Air 上即時辨識語音,耗時約 13 秒處理 1 小時音訊,全部執行於本機。- 速度:在 M3 MacBook Air 上,1 小時音訊約 13 秒完成。
Unsloth AI 推出可瀏覽、影像生成與加速訓練功能,讓本地模型即時查詢網頁並以 8 步完成影像創作。 - 瀏覽器使用:模型可在聊天框內開啟、閱讀、點選、輸入並滾動,支援本地模型與 API 提供者。
推薦理由:Unsloth AI 推出可瀏覽、影像生成與加速訓練功能,讓本地模型即時查詢網頁並以 8 步完成影像創作,對開發者提升工作流程效率具有實際價值。
Higgsfield Katana 內嵌 Claude Motion,成為 Claude 平臺上最強大的 AI 視訊編輯工具。
summary_zh: 18 篇具身智慧研究被精選,涵蓋視覺‑語言‑動作模型、全身操作、人形機器人自我改進等領域。 - EndoRSI:結合內嵌編碼代理 EndoForge,透過物理實驗回饋實現安全授權下的內視鏡機器人策略自我迭代。
MAGI‑2 Preview 在 Moore Threads MUSA 上以 565 毫秒/步的速度完成 100 步音視訊生成,較首次 15.6 秒/步提升 27.6 倍。
推薦理由:本報告展示 MAGI‑2 Preview 在 Moore Threads MUSA 上的效能提升,從 15.6 秒降至 565 毫秒,為大規模音視訊生成提供可行的硬體加速方案。
Hangul 手寫筆劃生成 RNN 於 10 月 9 日首度公開,允許使用者在瀏覽器直接輸入韓文文字並產生對應的筆劃動畫。 - 模型規模:約 350,000 引數,完全在瀏覽器執行,無需後端。
Nvidia 正在洽談收購美國開源模型初創公司 Reflection AI。 收購方:Nvidia 目標公司:Reflection AI 核心技術:開源 AI 模型 潛在影響:擴大 Nvidia 在開源模型領域的競爭力 進度:洽談中
Clef-omni 以單一 API 支援音訊、影像、文字與圖片的多模態決策,首次公開於 Cloudflare。 - 多模態支援:音訊 (wav/mp3)、影片 (mp4/webm)、圖片、文字,一次呼叫即可。
推薦理由:Clef-omni 以單一 API 支援音訊、影像與文字,多模態決策模型的首次公開,為開發者提供更快、更便宜的工作流程選擇。
Grok Imagine Video 1.5 Lite 以 480p‑1080p 影片與音訊支援,提供 1‑15 秒長度、七種比例的影片產生。 - 影片品質:可選 480p、720p、1080p,支援寬螢幕、正方形、直立等七種比例。
Step 5 Preview 是 StepFun 推出的 1M 上下文視窗稀疏 Mixture‑of‑Experts 模型,已於 OpenRouter 上線。
本研究提出 ESauron 系統,能透過記憶體電磁輻射偵測各類隱蔽監視器,並在 4 次刺激後 100% 準確定位。 - 偵測範圍:超過 20 公尺,即使有遮擋亦可偵測。
GPT‑6 於 2026 年 10 月正式推出,並在 ChatGPT 中加入 Intelligent UI 及即時回覆功能,面向超過 12 億每週使用者。
EmDash 透過 Cloudflare 的 Clef 決策模型對外掛登錄檔中的每一筆清單進行審核,確保內容不含詐騙、冒充或攻擊性影像與文字。 - 審核範圍:涵蓋文字、連結、圖示與截圖,針對 18 個問題,涵蓋色情、仇恨、詐騙、冒充等類別。
d1-3B 與 d1-omni-600M 為 Liquid AI 發布的兩款多模態決策模型,專為邊緣裝置設計。 - 決策指數:在 Decision Index 0.2.1 上 d1-3B 以 48.57 分領先 4B、9B 及 35B-A3B。
推薦理由:此模型在 Decision Index 0.2.1 上以 48.57 分領先 4B、9B 及 35B-A3B,且在 Jetson AGX Thor 上 16ms 回應速度,適合邊緣決策應用。可快速部署於 Jetson 系列,提供 50ms 內回答,適合需要即時決策的場景。
SynthID Detector 是 Google DeepMind 推出的 AI 生成媒體水印偵測工具,能辨識由 Nvidia、OpenAI 及 Kakao 等合作夥伴產生的內容。
OpenWAM 是一個開放式框架,允許在世界-動作模型中同時預測與控制,並支援多種生成順序與獨立訓練的動態模型。 - 架構:5B 影片專家 + 2B 動作專家在 Mixture‑of‑Transformers (MoT) 中共享注意力,並可靈活配置影片-動作互動程式(VTA、ATV、Joint 等)。
Mistral Large 4 於 2026 年 10 月正式開源,擁有 1 兆引數的 MoE 架構。 - EmbeddingGemma 2:Google 發布 740M 輕量多模態嵌入模型,支援多語言。
EmbeddingGemma 2 於 2026 年 10 月正式發布,為輕量化多模態嵌入模型,能將文字、影像、音訊、影片統一對映至同一嵌入空間,並在邊緣裝置上高效執行。
EmbeddingGemma 2 是 DeepMind 推出的全新多模態嵌入模型,支援文字、影像、音訊、影片與程式碼。 - 引數量:740 M,適合本地推理。
推薦理由:EmbeddingGemma 2 以 740M 引數實現跨模態嵌入,兼顧效能與隱私,適合本地 RAG 與離線搜尋,並提供 8K token 上下文視窗與 6 倍儲存壓縮。
Mistral Large 4 以 1 兆引數的開源多模態模型,於今日開放預覽,主打安全、程式編寫與多媒體理解。\n- 模型規格:1 兆引數、49 B 活躍引數,訓練於 3,800 臺 NVIDIA Grace Blackwell GPU。
Hugging Face Transformers 正式發布 v5.19.0 版本,新增支援 Google 的多模態嵌入模型 EmbeddingGemma2,並針對混合專家模型與連續批次處理進行重大更新。
Ollama v0.40.0-rc6 版在 Apple Silicon 上自動使用 MLX 執行模型,並首次支援多模態嵌入。 - MLX 執行:Apple Silicon 裝置上,支援的模型架構將自動跑在 MLX。
Mistral Large 4 現已於 Vercel 的 AI Gateway 正式上線,使用者可透過單一 API 金鑰直接存取。 - 多模態推理:結合文字與影像理解,適用於網路安全、製造與金融工作流程。
Mistral Large 4 是一款 1 兆引數、49B 活躍引數的多模態模型,公開預覽已開放 API。 - 規模:1 兆引數,49B 活躍引數,跨領域效能領先。
推薦理由:Mistral Large 4 擁有 1 兆引數及跨領域優勢,讀者可評估其在安全、工程與科學領域的實務應用。
Mistral Large 4 正式發布,擁有 49B 活躍引數、1.05T 總引數以及 1.6B 視覺編碼器,採用 Granular Mixture‑of‑Experts 架構。
Diffusers 0.41.0 推出 Qwen-Image 2.1,整合影像生成與編輯功能,支援多參考影像與原生 RGBA 輸出。 - Qwen-Image 2.1:7B 引數模型,提供文字到影像、影像編輯、LoRA 訓練。
推薦理由:Diffusers 0.41.0 以 Qwen-Image 2.1 為核心,提供統一的影像生成與編輯功能,開發者可直接整合至多模態工作流程。
ChatGPT 造假漫畫家簽名引發侵權爭議,Claude Opus 5.5 代理人發現兩種室溫磁性半導體,Beam 501B 展示強大 RL 工程實力。 - ChatGPT 透過過擬合偽造漫畫家簽名,導致公眾憤怒與法律爭議。
NVIDIA 夥伴利用 AI 在乳癌診斷、風險評估與治療規劃上提供突破,縮短從掃描到決策的時間。 - ATUSA:iSono Health 的可穿戴 3D 超聲系統,掃描時間約 2 分鐘,敏感度比傳統 2D 超聲高 28%。
ElevenLabs 的 Scribe 服務提供原生單字時間戳與事件標記的音訊轉錄,直接輸出結構化、可搜尋的 JSON 資料,省去後續對齊步驟。 - 核心功能:單字級時間戳、語音事件(笑聲、掌聲、背景音)與多語言偵測;一次 API 呼叫即可完成。