跳到正文

多模態

文本之外的能力:視覺理解、圖文混合、音影片輸入輸出的模型與產品進展。

最新精選

第 141–160 條 · 共 175 條
7月7日週二
  1. Hugging Face Blog85

    Hugging Face 釋出 LeRobot v0.6.0:引入世界模型與統一評測

    LeRobot v0.6.0 引入了世界模型策略、全新的視覺語言動作模型和統一的獎勵模型 API,同時帶來了六大模擬評測基準、全新的部署命令列工具以及深度感知和資料自動標註能力。此次更新還優化了資料集載入速度,實現了完全分片資料並行訓練和雲端訓練支援,並大幅精簡了基礎安裝包的依賴。

    推薦理由:該版本閉環了機器人學習流程,使用者可以據此瞭解開源機器人框架在世界模型和評測方面的新能力。

  2. openrouter blog64

    LLM 中如何選擇最佳圖片輸入細節層級

    OpenRouter 團隊對 OpenAI 與 Google 最新模型的圖片細節引數進行基準測試,發現在推理模型中將圖片設為低解析度(low)反而會因模型需花費更多思考力而增加總成本並降低準確率。

    推薦理由:評測顯示推理模型使用低解析度圖片反而會增加思考負擔並拉高總成本,讀者可據此調整視覺任務的圖片細節與推理引數。

7月1日週三
  1. Google DeepMind76

    Google DeepMind 釋出 Nano Banana 2 Lite 與 Gemini Omni Flash 模型

    Google DeepMind 推出兩款新模型:速度最快且最具成本效益的影像模型 Nano Banana 2 Lite,以及用於高質量影片生成和對話式編輯的 Gemini Omni Flash。

    推薦理由:Google DeepMind 推出 Nano Banana 2 Lite 與 Gemini Omni Flash 兩款新模型,為開發者串聯影像生成與影片編輯提供了低成本且高效的新方案。

6月23日週二
  1. Mistral AI81

    Mistral AI 釋出 Mistral OCR 4 文件解析模型

    Mistral AI 釋出 Mistral OCR 4 模型,提供文件解析功能,除提取文本外還返回邊界框、塊分類和行內建信度分數。該模型支援 170 種語言,可在單容器中執行以用於自託管部署,並通過 API 或 Document AI 提供支援。

    推薦理由:該模型支援多語言及單容器私有化部署,為企業級檢索和智慧體工作流提供了帶邊界框和置信度的結構化文件解析能力。

6月9日週二
  1. Google DeepMind86

    推出 Gemma 4 12B:無編碼器統一多模態模型

    DeepMind 推出 Gemma 4 12B,這是一款無編碼器的統一多模態模型,能夠直接在配備 16GB VRAM 的筆記本上執行。它在保持與 26B MoE 近似的推理效能的同時,顯著降低了記憶體佔用,並首次支援原生音訊輸入。

    推薦理由:Gemma 4 12B 以無編碼器的多模態架構實現低記憶體、強推理,適配本地 16GB VRAM 機器,讀者可據此評估在邊緣裝置上的部署可能。

6月5日週五
  1. Google Research71

    Google Research 推出基於智慧手機攝像頭的被動心率與靜息心率監測系統 PHRM

    Google Research 推出了被動心率監測系統(PHRM),利用智慧手機前置攝像頭在日常面部解鎖後進行影片採集,通過深度學習實現全膚色覆蓋的心率與靜息心率精準追蹤。該研究結合實驗室與真實世界評估,在各類膚色上均達到了與穿戴裝置相當的準確率,並同步開源了相關資料集與“PHRM-mini”預訓練模型供合規研究者申請使用。

    推薦理由:研究推出了基於智慧手機攝像頭的被動心率監測系統,其準確率達到行業標準並開源了資料集與預訓練模型。

6月3日週三
  1. Axolotl Releases64

    Axolotl 發布 v0.17.0,擴充 MoE、遠端與多模態訓練支援

    開源模型訓練工具 Axolotl 發布 v0.17.0,新增多種訓練能力並修正多模態損失遮罩。 - 分散式訓練:加入透過 DeepSeek 的 DeepEP 執行 MoE Expert Parallelism,已在 2×A100、4×A100、8×H100 上驗證。

    推薦理由:多模態助理專用損失遮罩修正會改變相關訓練的 loss 值,版本也包含破壞性設定更名,升級時需一併留意。

5月29日週五
  1. Google Research69

    Google Research 在 I/O 2026 上開啟新發現時代

    Google Research 在 I/O 2026 上公佈了多款 AI 工具與模型,涵蓋科研加速、健康應用、邊緣計算與氣候預測等領域。

    推薦理由:Google Research 在 I/O 2026 上公佈多款 AI 工具與模型,展示了從科研到產品的快速落地與實際影響,凸顯代理式編碼與多模態推理在科學與日常應用中的變革潛力,併為全球科研社群提供了可擴充套件的實驗平臺。

5月18日週一
  1. Google DeepMind63

    Google DeepMind 推出 Project Genie 街景接地功能並擴大訪問範圍

    Google DeepMind 推出了將 Project Genie 與 Google Street View 結合的新街景接地功能,允許使用者利用真實街景影像生成互動虛擬環境,並面向全球 Google AI Ultra 訂閱者逐步開放。新功能通過 Maps Imagery Grounding 技術支援,目前美國地區的街景影像已可用。

    推薦理由:該產品更新將世界模型與街景資料結合,為使用者和智慧體提供了在現實地點基礎上生成互動環境的新能力。

  2. Google DeepMind86

    Google DeepMind 釋出 Gemini Omni 與首款模型 Gemini Omni Flash

    Google DeepMind 推出了全新多模態模型 Gemini Omni,併發布了該系列首款模型 Gemini Omni Flash,支援通過影像、音訊、影片和文本組合輸入生成及編輯影片。該模型已向 Gemini app、Google Flow 以及 YouTube Shorts 使用者推出,未來還將通過 API 提供給開發者和企業客戶。

    推薦理由:原文介紹了新模型的具體輸入組合和釋出範圍,讀者可以據此評估多模態影片生成與編輯的最新能力邊界。

5月14日週四
  1. Together AI Official Blog79

    Violin:開源影片翻譯工具突破語言障礙

    Violin 是一款完全開源的影片翻譯工具,透過 Together API 整合 Whisper V3、DeepSeek V4 Pro 與 Cartesia 的 Sonic 3,完成從語音辨識、翻譯到語音合成的全流程。

    推薦理由:Violin 以開源方式提供多語言影片翻譯,並內建多模態對話助手,使用者可即時查詢影片內容並調整語音風格,讓全球觀眾可即時接觸內容。

5月1日週五
4月30日週四
  1. Google DeepMind64

    Google DeepMind 釋出 AI co-clinician 醫療人工智慧研究專案

    Google DeepMind 宣佈推出 AI co-clinician 研究計劃,旨在探索結合多模態能力的醫療人工智慧系統,以輔助醫生並提升遠端醫療和臨床決策的質量。該系統採用雙Agent架構,在多項模擬臨床評估與藥物問答基準測試中展現出處理複雜醫療任務的潛力。

    推薦理由:原文介紹了醫用人工智慧研究專案的架構與模擬評估結果,讀者可以瞭解多模態技術在醫療場景中的實際表現與安全性保障。

4月28日週二
  1. Together AI Official Blog75

    Together AI 立即發布 NVIDIA Nemotron 3 Nano Omni 模型

    Together AI 於今日正式推出 NVIDIA Nemotron 3 Nano Omni 模型,並於同日即時提供開發者使用。 - 多模態推理:單一模型即可同時處理影像、影片、音訊與文字,支援 256K token 的共享上下文。

    推薦理由:本篇說明 NVIDIA Nemotron 3 Nano Omni 在 Together AI 上,與 Agent 效能,對落地 Agent 的開發者具參考價值。

4月8日週三
  1. Modal Engineering Blog66

    Physical Intelligence 物聯機器人即時推論

    Physical Intelligence 透過 Modal 的 QUIC 埠與 GPU 容器建立低延遲通道,讓機器人能即時執行大模型。 - 核心架構:Visual‑Language‑Action (VLA) 模型將視覺、語言與本體感知輸入,輸出下一秒的馬達指令。

    推薦理由:Modal 透過 QUIC 埠與 GPU 容器建立低延遲通道,讓物聯機器人能即時執行大模型,顯示雲端與邊緣協同的實際效能。

4月3日週五
  1. Google DeepMind69

    Gemma 4 釋出:最強開源模型

    Google DeepMind 推出了 Gemma 4,四種尺寸(E2B、E4B、26B MoE、31B Dense)支援多模態、長上下文(128K–256K)和 140+ 語言,具備高階推理、函式呼叫和程式碼生成能力,並以 Apache 2.0 許可免費開放,適用於從移動端到雲端的多場景部署。

    推薦理由:Gemma 4 以高效引數利用率和多模態能力,成為最強開源模型之一,支援從移動端到雲端的多場景部署,並提供 128K–256K 上下文視窗和 140+ 語言支援,兼具函式呼叫和結構化 JSON 輸出,滿足多行業需求。

3月29日週日
  1. Google DeepMind63

    Google DeepMind 推出 AI 時代重塑滑鼠指標計劃

    Google DeepMind 釋出了由 Gemini 驅動的 AI 滑鼠指標實驗專案與互動原則,旨在讓使用者無需切換視窗即可通過指向和語音在 Chrome 等產品中直接呼叫 AI 能力。

    推薦理由:原文介紹了將 AI 融入滑鼠指標的互動理念與實驗功能,讀者可以據此瞭解未來跨應用多模態互動的設計方向。

3月25日週三
  1. Google Research66

    Google Research 釋出 Vibe Coding XR,加速 AI 與 XR 原型開發

    Google Research 宣佈推出 Vibe Coding XR 工作流,結合 Gemini 的長上下文推理與網路端 XR Blocks 框架,將自然語言直接轉換為物理感知的 Android XR 應用。該系統通過專用系統提示詞和程式碼模板自動處理空間邏輯,讓開發者能夠在短時間內快速構建和測試空間計算原型。

    推薦理由:原文公佈了結合大模型與空間計算框架的具體實現方案,讀者可以據此瞭解如何通過自然語言快速生成擴充套件現實應用。

3月24日週二
  1. Mistral AI75

    Mistral AI 釋出 Voxtral TTS 語音生成模型

    Mistral AI 釋出 4B 引數量的語音生成模型 Voxtral TTS,支援 9 種語言的高質量語音合成與低延遲流式傳輸。該模型具備上下文理解、說話人建模及零樣本跨語言語音適應能力,已通過 API、Mistral Studio 和 Hugging Face 開放。

    推薦理由:原文公佈了架構細節和零樣本跨語言能力,讀者可以據此評估它在即時語音工作流中的表現。

3月18日週三
  1. Together AI Official Blog73

    Together AI 擴充微調服務,新增工具呼叫、推理與視覺支援

    Together AI 推出新版微調服務,新增工具呼叫、推理與視覺語言模型支援,並提升至 100B+ 引數模型的高效微調。 - 工具呼叫:提供結構化驗證、全流程支援,適用 Qwen、Moonshot AI、Z.AI。

    推薦理由:此更新提升工具呼叫、推理與視覺功能,讓團隊可每日迭代、成本降低 2–3 倍、準確率提升至 87%,並支援 100B+ 引數模型與 100GB 資料集的高效微調,並提供預估成本與 ETA 以利實驗規劃,並可在多模態任務中使用 Vision‑Language 模型微調。