跳到正文

多模態

文本之外的能力:視覺理解、圖文混合、音影片輸入輸出的模型與產品進展。

最新精選

第 221–240 條 · 共 241 條
7月15日週三
  1. LMSYS Org Blog78

    SGLang 和 Miles 加入 Inkling 多模態模型首日支援

    新模型架構常讓推論和訓練工具得花時間才能跟上。SGLang 和 Miles 在 Inkling 推出時就加入支援,並為它的短卷積、相對位置注意力和共享專家設計調整執行方式。Inkling 最長可處理 1M 個 token;在 NVIDIA Blackwell GPU 上,SGLang 的輸入處理速度最高達每秒 71.7k 個 token,單一使用者生成速度最高為每秒 171.0 個 token。Miles 也支援文字與影像任務的強化學習訓練,並用路由重播等方法讓訓練和推論的計算保持一致。

    推薦理由:文章對照 Inkling 的注意力與 MoE 設計,說明 SGLang 如何調整推論流程,也呈現 Miles 如何讓訓練和推論使用一致的模型行為。

7月7日週二
  1. Hugging Face Blog85

    Hugging Face 釋出 LeRobot v0.6.0:引入世界模型與統一評測

    LeRobot v0.6.0 引入了世界模型策略、全新的視覺語言動作模型和統一的獎勵模型 API,同時帶來了六大模擬評測基準、全新的部署命令列工具以及深度感知和資料自動標註能力。此次更新還優化了資料集載入速度,實現了完全分片資料並行訓練和雲端訓練支援,並大幅精簡了基礎安裝包的依賴。

    推薦理由:該版本閉環了機器人學習流程,使用者可以據此瞭解開源機器人框架在世界模型和評測方面的新能力。

7月1日週三
  1. Google DeepMind76

    Google DeepMind 釋出 Nano Banana 2 Lite 與 Gemini Omni Flash 模型

    Google DeepMind 推出兩款新模型:速度最快且最具成本效益的影像模型 Nano Banana 2 Lite,以及用於高質量影片生成和對話式編輯的 Gemini Omni Flash。

    推薦理由:Google DeepMind 推出 Nano Banana 2 Lite 與 Gemini Omni Flash 兩款新模型,為開發者串聯影像生成與影片編輯提供了低成本且高效的新方案。

6月23日週二
  1. Mistral AI81

    Mistral AI 釋出 Mistral OCR 4 文件解析模型

    Mistral AI 釋出 Mistral OCR 4 模型,提供文件解析功能,除提取文本外還返回邊界框、塊分類和行內建信度分數。該模型支援 170 種語言,可在單容器中執行以用於自託管部署,並通過 API 或 Document AI 提供支援。

    推薦理由:該模型支援多語言及單容器私有化部署,為企業級檢索和AI 助理工作流提供了帶邊界框和置信度的結構化文件解析能力。

6月9日週二
  1. Google DeepMind86

    推出 Gemma 4 12B:無編碼器統一多模態模型

    DeepMind 推出 Gemma 4 12B,這是一款無編碼器的統一多模態模型,能夠直接在配備 16GB VRAM 的筆記本上執行。它在保持與 26B MoE 近似的推理效能的同時,顯著降低了記憶體佔用,並首次支援原生音訊輸入。

    推薦理由:Gemma 4 12B 以無編碼器的多模態架構實現低記憶體、強推理,適配本地 16GB VRAM 機器,讀者可據此評估在邊緣裝置上的部署可能。

5月18日週一
  1. Google DeepMind86

    Google DeepMind 釋出 Gemini Omni 與首款模型 Gemini Omni Flash

    Google DeepMind 推出了全新多模態模型 Gemini Omni,併發布了該系列首款模型 Gemini Omni Flash,支援通過影像、音訊、影片和文本組合輸入生成及編輯影片。該模型已向 Gemini app、Google Flow 以及 YouTube Shorts 使用者推出,未來還將通過 API 提供給開發者和企業客戶。

    推薦理由:原文介紹了新模型的具體輸入組合和釋出範圍,讀者可以據此評估多模態影片生成與編輯的最新能力邊界。

5月14日週四
  1. Together AI Official Blog79

    Violin:開源影片翻譯工具突破語言障礙

    Violin 是一款完全開源的影片翻譯工具,透過 Together API 整合 Whisper V3、DeepSeek V4 Pro 與 Cartesia 的 Sonic 3,完成從語音辨識、翻譯到語音合成的全流程。

    推薦理由:Violin 以開源方式提供多語言影片翻譯,並內建多模態對話助手,使用者可即時查詢影片內容並調整語音風格,讓全球觀眾可即時接觸內容。

5月1日週五
4月28日週二
  1. Together AI Official Blog75

    Together AI 立即發布 NVIDIA Nemotron 3 Nano Omni 模型

    Together AI 於今日正式推出 NVIDIA Nemotron 3 Nano Omni 模型,並於同日即時提供開發者使用。 - 多模態推理:單一模型即可同時處理影像、影片、音訊與文字,支援 256K token 的共享上下文。

    推薦理由:本篇說明 NVIDIA Nemotron 3 Nano Omni 在 Together AI 上,與 Agent 效能,對落地 Agent 的開發者具參考價值。

3月24日週二
  1. Mistral AI75

    Mistral AI 釋出 Voxtral TTS 語音生成模型

    Mistral AI 釋出 4B 引數量的語音生成模型 Voxtral TTS,支援 9 種語言的高質量語音合成與低延遲流式傳輸。該模型具備上下文理解、說話人建模及零樣本跨語言語音適應能力,已通過 API、Mistral Studio 和 Hugging Face 開放。

    推薦理由:原文公佈了架構細節和零樣本跨語言能力,讀者可以據此評估它在即時語音工作流中的表現。

3月18日週三
  1. Together AI Official Blog73

    Together AI 擴充微調服務,新增工具呼叫、推理與視覺支援

    Together AI 推出新版微調服務,新增工具呼叫、推理與視覺語言模型支援,並提升至 100B+ 引數模型的高效微調。 - 工具呼叫:提供結構化驗證、全流程支援,適用 Qwen、Moonshot AI、Z.AI。

    推薦理由:此更新提升工具呼叫、推理與視覺功能,讓團隊可每日迭代、成本降低 2–3 倍、準確率提升至 87%,並支援 100B+ 引數模型與 100GB 資料集的高效微調,並提供預估成本與 ETA 以利實驗規劃,並可在多模態任務中使用 Vision‑Language 模型微調。

3月17日週二
  1. Mistral AI84

    釋出 Mistral Small 4

    Mistral AI 釋出了 Mistral Small 4,這是一款統一推理、多模態與編碼功能的模型,採用 119B 引數、256k 上下文視窗,支援可配置推理強度,提供 40% 的延遲降低和 3 倍的吞吐量提升。該模型採用 Apache 2.0 許可,支援 vLLM、llama.cpp、SGLang 等開源框架,並已加入 NVIDIA Nemotron 聯盟。

    推薦理由:Mistral Small 4 將推理、多模態與編碼功能統一,提供可配置推理強度和高效推理,幫助使用者在單一模型中完成多種任務。

3月5日週四
  1. Hugging Face Diffusers Releases81

    Diffusers 0.37.0 推出模組化管線與多款影像/影片模型

    Diffusers 0.37.0 透過模組化管線與多款新影像/影片模型,為開發者提供更靈活的創作與部署方案。 - 模組化管線:可組合可重用的區塊,省去從零開始編寫管線的時間。

    推薦理由:Diffusers 0.37.0 透過模組化管線與多種新影像/影片模型,為開發者提供更靈活的創作與部署方案。

12月9日週二
  1. Hugging Face Diffusers Releases87

    Diffusers 0.36.0 發布多種新影像與影片管線、快取與訓練指令碼

    Diffusers 0.36.0 於 2025 年 12 月 9 日發布,內含 Flux2、Z‑Image、SAGE 等多個新影像與影片生成管線,以及 Flash Attention 3 等高效後端。

    推薦理由:Diffusers 0.36.0 透過 Flux2、Z‑Image、SAGE 等新管線及 Flash Attention 3,為影像與影片生成提供更高效、可擴充的工具,開發者可直接整合進工作流程。

12月3日週三
  1. Mistral AI83

    Mistral AI 釋出 Mistral 3 模型系列

    Mistral AI 釋出新一代 Mistral 3 模型系列,包含 14B、8B 和 3B 的 Ministral 3 端側稠密模型,以及採用稀疏 MoE 架構、啟用引數 41B 總引數 675B 的旗艦模型 Mistral Large 3。所有模型均採用 Apache 2.0 許可證開源,支援多模態與多語言能力,推理版本也將很快推出。

    推薦理由:原文釋出了包含稠密小模型與 MoE 旗艦大模型的全新模型系列,並全部採用 Apache 2.0 許可證開源,開發者和企業可直接藉此在多端與雲端部署前沿智慧能力。

7月15日週二
  1. Mistral AI86

    Mistral AI 釋出開源語音理解模型 Voxtral

    Mistral AI 釋出了開源語音理解模型 Voxtral,包含面向生產的 24B 規格與面向端側的 3B 規格,均採用 Apache 2.0 協議開源。該系列模型支援 32k 上下文、長達 30 至 40 分鐘的音訊處理、內建問答與摘要、多語言處理及函式呼叫功能,並在多項語音轉寫和理解基準測試中表現優異。

    推薦理由:該模型提供了兩種尺寸並開源,讀者可以根據自身算力條件選擇合適的版本進行本地部署或呼叫 API。

6月10日週二
5月15日週四
  1. Ollama Blog72

    Ollama 推出多模態模型新引擎

    Ollama 推出多模態模型新引擎,首次支援 Meta Llama 4、Google Gemma 3、Qwen 2.5 VL、Mistral Small 3.1 等視覺模型,並可在本地即時處理影像與文字互動。

    推薦理由:Ollama推出的新多模態引擎與多款視覺模型支援,讓使用者能即時測試影像與文字互動,對於需要本地多模態推理的開發者提供可直接落地的解決方案。

5月7日週三
  1. Mistral AI86

    Mistral AI 釋出 Mistral Medium 3 模型

    Mistral AI 宣佈推出 Mistral Medium 3 模型,在編碼和多模態理解等專業用例中具備前沿級效能,同時顯著降低了成本。該模型支援混合部署或本地部署、自定義後訓練及企業工具整合,API 定價為每百萬 token 輸入 0.4 美元、輸出 2 美元,現已在 Mistral La Plateforme 和 Amazon Sagemaker 等平臺上線。

    推薦理由:官方公佈了該新模型的具體基準表現和定價,讀者可以據此評估其在企業級應用中的價效比。