跳到正文

多模態

文本之外的能力:視覺理解、圖文混合、音影片輸入輸出的模型與產品進展。

最新精選

第 201–220 條 · 共 241 條
10月6日週二
  1. Hugging Face Diffusers Releases82

    Diffusers 0.41.0 推出 Qwen-Image 2.1 影像生成與編輯管線

    Diffusers 0.41.0 推出 Qwen-Image 2.1,整合影像生成與編輯功能,支援多參考影像與原生 RGBA 輸出。 - Qwen-Image 2.1:7B 引數模型,提供文字到影像、影像編輯、LoRA 訓練。

    推薦理由:Diffusers 0.41.0 以 Qwen-Image 2.1 為核心,提供統一的影像生成與編輯功能,開發者可直接整合至多模態工作流程。

10月1日週四
  1. Google DeepMind72

    Gemini 4 Argon 釋出:開啟前沿智慧新時代

    Google DeepMind 推出了 Gemini 4 Argon,這是一款具備長推理、跨領域多模態能力的前沿模型。Argon 在軟體工程、金融、法律和網路安全等行業基準上重新整理記錄,並已在內部工作流中提升效率;其 1M token 輸出上限和 $2/百萬輸入、$10/百萬輸出的價格為開發者提供更高性價比。

    推薦理由:Gemini 4 Argon 通過大幅提升推理長度和多模態能力,顯著提升軟體工程、金融與網路安全等領域的工作效率,並在多項行業基準上重新整理記錄,幫助企業加速技術迭代。

9月23日週三
  1. Google DeepMind84

    Google DeepMind 釋出 Gemini 3.8 Flash TTS 與 Flash-Lite TTS 語音生成模型

    Google DeepMind 推出 Gemini 3.8 Flash TTS 和 Gemini 3.8 Flash-Lite TTS 兩款全新語音生成模型,支援超過 100 種語言的自然語言提示詞聲音設計、30 秒聲音復刻以及逐行臺詞精細導演。

    推薦理由:官方釋出的最新語音生成模型提供了細粒度的臺詞導演和聲音定製能力,讀者可以據此評估其在多語言配音與AI 助理互動中的實際表現。

9月18日週五
9月10日週四
  1. Hugging Face Transformers Releases80

    Hugging Face Transformers v5.17.0 發布:新增多款前沿開源模型與架構支援

    Hugging Face Transformers v5.17.0 正式發布,本次更新擴充多項全新模型架構與重大功能改進,涵蓋多模態、語音識別及混合專家模型支援: - 新模型與架構新增: - HYV4:780B 引數的混合專家(MoE)模型,每 Token 啟動 49B 引數,具備 1M tokens 上下文視窗。

    推薦理由:此版本擴充多項新模型架構與語音多模態支援,開發者可藉此評估最新開源模型的整合與升級選項。

9月8日週二
  1. Google DeepMind89

    Google DeepMind 釋出 AlphaGenome Atlas:人類基因組變異預測圖譜

    Google DeepMind 推出了 AlphaGenome Atlas 平臺,包含人類基因組中 90 億種單核苷酸變異的預測效應,並同步釋出了 AlphaGenome Variant Impact 評分。該平臺提供網站埠、API 以及 Google Antigravity 中的 skill,旨在幫助學術研究人員理解基因變異對分子生物學的影響。

    推薦理由:該平臺預先計算了人類基因組中所有可能單核苷酸變異的分子效應預測併發布了配套評分指標,為研究人員快速評估基因變異影響提供了新資源。

9月3日週四
  1. Google DeepMind84

    Google DeepMind 釋出全球天氣大模型 WeatherNext 3

    Google DeepMind 和 Google Research 釋出全新的全球天氣大模型 WeatherNext 3,支援每小時即時衛星資料輸入並提供高達 5 公里解析度的預測。該模型在降水預測精度上取得顯著提升,並增加了清潔能源變數預測,現已整合至 Search、Gemini、Maps 和 Cloud 等產品中。

    推薦理由:該模型通過融合即時衛星資料與高解析度網格,提升了全球天氣預報的精度和更新頻率,為清潔能源規劃和區域氣象服務提供了更可靠的資料支援。

9月2日週三
  1. Google DeepMind78

    Google DeepMind 推出 Gemini AI 助理影片理解功能

    Google DeepMind 推出了適用於 Gemini 最新模型的AI 助理影片理解功能,通過動態檢索視覺幀、音訊和字幕,將影片分析的 token 消耗降低最高 88%、成本降低最高 66%,並將準確率提升最高 7%。

    推薦理由:原文公佈了功能特性與具體最佳化資料,讀者可以據此瞭解該技術如何降低影片處理成本。

8月26日週三
  1. LMSYS Org Blog78

    SGLang 在發布當天支援千問 Qwen3.8-Flash-Next

    長文本會增加模型處理內容和讀取記憶體的負擔。千問團隊推出 Qwen3.8-Flash-Next,SGLang 團隊也在發布當天加入支援。這個多模態模型使用混合注意力,只讓部分層仔細檢視長上下文,並用稀疏注意力挑出重要片段;另一種嵌入資料則放在主機記憶體,需要時再讀取,以減少 GPU 記憶體用量。文章也介紹 SGLang 對推論和記憶體管理所做的調整,並回報特定硬體設定下的速度與記憶體測試結果。

    推薦理由:文章整理 SGLang 如何在模型發布當天支援 Qwen3.8-Flash-Next,並說明長文本注意力、GPU 記憶體使用與推論速度的取捨。

8月19日週三
  1. ComfyUI Blog73

    ComfyUI 推出本地化 MCP 開源,Agent 可自動化模型選擇與工作流程

    ComfyUI 於 2026 年 8 月 18 日宣佈,已將 MCP 服務本地化開源,使用者可在自家機器上直接部署並與 Agent 連結。 - 本地與雲端雙重支援:MCP 仍保留雲端功能,使用者可同時使用一個帳號管理兩種環境。

    推薦理由:本公告說明 ComfyUI 允許在本地機器上部署 MCP,讓使用者可透過 Agent 進行硬體感知的模型選擇與自動化工作流程,降低部署門檻並提升效率。

8月14日週五
  1. openrouter blog75

    如何透過 API 將圖片傳送給大語言模型:視覺指南

    本文介紹如何在聊天請求中透過 content 陣列傳送文字與圖片,支援多種視覺模型且請求格式保持一致。 - 請求格式:使用 messages 陣列,包含 type: text 與 type: image_url 兩個部分,支援公開網址與 base64 資料格式。

    推薦理由:原文詳細拆解如何透過 API 傳送圖片給多模態大語言模型,開發者可據此評估公開網址與 base64 編碼的適用時機。

8月12日週三
  1. Google Research89

    Google Research 推出 AMIE (Video) 即時影片臨床問診系統

    Google Research 推出了 AMIE 的即時影片配置版本 AMIE (Video),能夠基於 Gemini 和 Project Astra 進行同步臨床影片問診,感知非引導性的臨床非語言線索並進行即時診斷推理。

    推薦理由:這項研究展示了多模態醫療AI在影片問診中的專家級表現,為遠端醫療系統的架構設計提供了實證參考。

8月10日週一
  1. Hugging Face Blog86

    Meta 釋出開源多模態模型 Muse Glimmer

    Meta 推出了全新的 30B 引數開源多模態模型 Muse Glimmer,採用 Apache 2.0 協議釋出,專門面向本地AI 助理和隱私保護應用。該模型結合了 2B 的視覺感知編碼器與 28B 的文本解碼器,支援影像、影片理解以及多模態工具呼叫,並提供 transformers、llama.cpp 和 vLLM 的首日支援。

    推薦理由:文章詳細介紹了 Meta 開源多模態模型 Muse Glimmer 的架構設計與本地部署方法,讀者可以據此瞭解其在端側AI 助理和多模態任務中的應用潛力。

  2. LMSYS Org Blog62

    SGLang 首日支援 Muse Glimmer,讓多模態模型能在本機硬體執行

    想在自己的電腦上執行多模態 AI 助理,速度和硬體需求常是難題。SGLang 宣佈從 Muse Glimmer 推出的第一天就提供支援,讓開發者能在多種 NVIDIA 顯示卡、DGX Spark 和 Apple Silicon 裝置上執行這個 30B 模型。文章列出不同硬體與設定下的速度:在 RTX 5090 上使用 NVFP4 和 DFlash 時,每位使用者每秒可生成 236 個 token,批次輸出速度最高為每秒 1,452 個 token。DFlash 能加快多數測試設定的互動速度,但 Apple Silicon 的 MLX 後端目前不支援這項功能。

    推薦理由:Muse Glimmer 加入 SGLang 首日支援後,可在多種本機硬體上執行;文中資料也比較了不同平臺與解碼方式的速度差異。

8月6日週四
  1. vLLM Official Blog77

    vLLM 在 Qwen3.5 上達成每 GPU 25K 總 TPS

    vLLM 透過社群貢獻的最佳化核心與異構快取設計,讓 Qwen3.5 在 GB200 NVL72 系統上每 GPU 總 TPS 超過 25,000。

    推薦理由:本文提供可實踐的最佳實踐與配置,藉助 vLLM 社群貢獻的最佳化核心與異構快取設計,幫助開發者在 Qwen3.5 上達成 25K TPS/GPU 的高效推理,並可快速複製至自家環境。

7月30日週四
  1. Google DeepMind86

    Gemini Robotics ER 2:通過影片理解、任務編排與多機器人協作驅動機器人

    DeepMind 釋出 Gemini Robotics ER 2,作為其最新的“具身推理”模型,支援持續影片理解、任務編排和多機器人協作。該模型可與任何低層 VLA 模型配合,即時呼叫工具(如 Google Search),並在執行過程中保持推理,顯著提升任務完成率和安全性。

    推薦理由:Gemini Robotics ER 2 通過影片理解和多機器人協作提升機器人任務完成率,展示了高效即時推理與安全控制的結合。

7月27日週一
  1. vLLM Official Blog83

    vLLM 宣佈支援 **Kimi K3**:提供 Day-0 高效部署與效能最佳化指南

    vLLM 官方宣佈對 Kimi K3 模型提供 Day-0 完整支援,帶來混合快取、推測解碼與生產環境最佳化。 - 模型架構:Kimi K3 是一個 2.8 兆引數的混合專家(MoE)多模態模型,每個 token 啟用 16 個專家(共 896 個),支援 1M token 上下文視窗與原生視覺能力。

    推薦理由:vLLM 官方釋出針對 **Kimi K3** 的 Day-0 支援與完整效能最佳化方案,讀者可透過文內設定與架構解析評估其在大規模生產環境中的部署與加速策略。

  2. Modal Engineering Blog77

    Moonshot 釋出 Kimi K3,Modal 平臺即時可用

    Kimi K3 是 Moonshot 推出的 2.8T 引數多模態模型,擁有 1M token 上下文視窗與原生視覺功能,Modal 於發布當日即以 460 tokens/秒的速度執行。

    推薦理由:Kimi K3 以 3T 引數與 1M token 上下文,結合高效推理與自動化推測,讓使用者能在 Modal 以 token 基本定價即時部署前沿多模態模型。

7月21日週二
  1. Google DeepMind84

    Google DeepMind 釋出 Gemini 3.6 Flash、3.5 Flash-Lite 和 3.5 Flash Cyber

    Google DeepMind 推出 Gemini 3.6 Flash、3.5 Flash-Lite 以及 3.5 Flash Cyber 三款新模型,旨在以更高效率和更低延遲支撐大規模 AI 助理工作流。

    推薦理由:官方釋出了三個新的 Gemini Flash 系列模型,給出了詳細的效能指標與價格,讀者可以據此評估其在AI 助理工作流和高吞吐任務中的成本與效率。