Google DeepMind 釋出 Gemini 3.8 Live with Live Avatar
Google DeepMind 釋出 Gemini 3.8 Live with Live Avatar,為對話式 AI 帶來近即時的視覺形象與流媒體影片支援。該功能原生耦合了即時對話與低延遲影片生成,具備精確唇形同步、動態視覺形象、非同步工具呼叫以及跨 97 種語言的原生語音同步能力,現已在 Gemini Enterprise 中可用。
Google DeepMind 釋出 Gemini 3.8 Live with Live Avatar,為對話式 AI 帶來近即時的視覺形象與流媒體影片支援。該功能原生耦合了即時對話與低延遲影片生成,具備精確唇形同步、動態視覺形象、非同步工具呼叫以及跨 97 種語言的原生語音同步能力,現已在 Gemini Enterprise 中可用。
本文介紹了 AWS WhisperX Deep Learning Container(DLC)的使用方法,演示如何在 Amazon SageMaker AI 上部署即時和非同步端點,實現詞級時間戳和說話人標籤的轉寫。
Liquid AI 針對視覺語言模型 LFM2.5-VL-3B 釋出了實驗性的 DSpark 草稿模型,通過引入投機解碼路徑實現推理加速。該草稿模型包含 2.8 億引數(增量 8.9%),在端側和 GPU 上解碼速度最高可提升 3.13 倍,並且首日即整合支援 llama.cpp、MLX-VLM 和 SGLang。
NVIDIA 聯合 Google DeepMind 及歐洲生物資訊研究所(EMBL-EBI)等全球研究機構,通過 AlphaFold Database 免費釋出了覆蓋超 2,800 種病毒的蛋白質複合物預測 3D 結構資料集。
Meta 在 2026 年 Connect 大會上釋出了個人AI 助理 Muse,並推出支援語音和即時影片互動的新款眼鏡硬體及定價 1,299 美元的 VR 眼鏡。
Comfy Router 於 2026-09-23 正式上線,提供一個統一 API 讓開發者一次呼叫多種前沿媒體模型。 - 模型覆蓋:即時可用 Seedance 2.5、MiniMax H3、Nano Banana Pro、GPT Image 2、Kling、Black Forest Labs,未來還將加入更多模型。
Google DeepMind 推出 Gemini 3.8 Flash TTS 和 Gemini 3.8 Flash-Lite TTS 兩款全新語音生成模型,支援超過 100 種語言的自然語言提示詞聲音設計、30 秒聲音復刻以及逐行臺詞精細導演。
推薦理由:官方釋出的最新語音生成模型提供了細粒度的臺詞導演和聲音定製能力,讀者可以據此評估其在多語言配音與AI 助理互動中的實際表現。
summary_zh: GPT‑6 Astra 以 80% 領跑 FAB,超過 Claude Opus 4.5(28%)與 Claude Fable 5.1(70%)。
Gemini 3.8 Flash‑Lite TTS 與 Gemini 3.8 Flash TTS 現已在 AI Gateway 上線,支援 100 多種語言的文本轉語音,支援長篇朗讀、交付控制和雙人對話。
MiniMax H3 Video VAE 現已能以 2.2 倍速度編碼、1.4-2.7 倍速度解碼,將 1344x768、129 幀影片的編碼解碼時間從 24.3 秒縮短至 12.7 秒。
小米釋出 MiMo-V2.6 系列原生全模態開源模型,其中 Pro 版本擁有 1.02T 總引數和 42B 啟用引數,RL 訓練成本約 300 萬美元。該系列同時開源了訓練環境、程式碼及技術報告,旨在降低強化學習訓練門檻。
Amazon Bio Discovery 團隊發表三篇研究,探討運用人工智慧進行抗體設計與表徵的全新框架與成果,旨在解決傳統抗體藥物研發成本高昂與週期過長的問題。
MiMo V2.6 Pro、Flash 與 Pro UltraSpeed 三款來自小米的模型現已在 AI Gateway 上可用。它們支援文本、影像、音訊和影片輸入,並具備推理、工具呼叫、JSON 輸出、提示快取等功能,擁有 1M-token 上下文視窗和最高 128K 輸出 token。
Qwen-Image-2.1 以 7B 引數的 MMDiT 架構,首次在 ComfyUI 上提供 2048×2048 RGBA 解析度的影像生成與編輯。
vLLM 透過整合 NVIDIA GPU 的硬體解碼(PyNvVideoCodec)\,將影片字幕任務的解碼工作從 CPU 移至 GPU,實現多 GPU 伺服器的吞吐量提升。
推薦理由:本次更新將硬體解碼與多 GPU 伺服器結合,提升影片字幕任務吞吐量,對 AV 研發與資料標註流程有直接效益。
summary_zh: GLM 5.3 FlashX 現已於 AI Gateway 上可用,提供約 200 tokens/second 的推理速度,適用於編碼代理、工具迴圈與互動式應用。
NVIDIA 釋出的 Vera Rubin NVL72 在 MLPerf Inference v6.1 首秀中表現領先,在 Qwen3-VL 上實現了較 GB300 NVL72 最高 3.7 倍的吞吐量提升。
DeepSeek V4 系列並非單一模型,其中僅 DeepSeek V4.1 Flash 與 DeepSeek V4 Flash Vision Exp 支援原生影像輸入,其餘 Pro 與 Flash 檢查點皆為純文字模型。
Hugging Face Transformers v5.17.0 正式發布,本次更新擴充多項全新模型架構與重大功能改進,涵蓋多模態、語音識別及混合專家模型支援: - 新模型與架構新增: - HYV4:780B 引數的混合專家(MoE)模型,每 Token 啟動 49B 引數,具備 1M tokens 上下文視窗。
推薦理由:此版本擴充多項新模型架構與語音多模態支援,開發者可藉此評估最新開源模型的整合與升級選項。
本文介紹如何透過 OpenRouter API 與 google/gemini-3.1-flash-image 進行圖片編輯,並提供 Python 與 TypeScript 的完整程式碼範例。
Google DeepMind 推出了 AlphaGenome Atlas 平臺,包含人類基因組中 90 億種單核苷酸變異的預測效應,並同步釋出了 AlphaGenome Variant Impact 評分。該平臺提供網站埠、API 以及 Google Antigravity 中的 skill,旨在幫助學術研究人員理解基因變異對分子生物學的影響。
推薦理由:該平臺預先計算了人類基因組中所有可能單核苷酸變異的分子效應預測併發布了配套評分指標,為研究人員快速評估基因變異影響提供了新資源。
Google DeepMind 和 Google Research 釋出全新的全球天氣大模型 WeatherNext 3,支援每小時即時衛星資料輸入並提供高達 5 公里解析度的預測。該模型在降水預測精度上取得顯著提升,並增加了清潔能源變數預測,現已整合至 Search、Gemini、Maps 和 Cloud 等產品中。
推薦理由:該模型通過融合即時衛星資料與高解析度網格,提升了全球天氣預報的精度和更新頻率,為清潔能源規劃和區域氣象服務提供了更可靠的資料支援。
Hugging Face 團隊推出了 NeoMME,這是一個包含 260M 和 800M 引數的多語言多模態基礎編碼器系列。該模型不使用單獨的視覺塔或因果語言模型,而是通過單個雙向 Transformer 同時處理文本 token 和原始影像塊。
AI輔助尋蘑菇:在 55 種安全與有毒蘑菇的資料集上,16 個大型模型被測試。最優模型 Gemini‑3.8‑flash 的首選正確率僅 65%,在前五名內正確率 85%。
Google Research 聯合 NASA JPL 推出了 MAPL-EMIT 深度學習框架,利用 Swin-S transformer 架構處理高光譜輻射測量資料,實現了甲烷羽流的自動檢測、定量增強預測和源頭定位。
Google DeepMind 推出了適用於 Gemini 最新模型的AI 助理影片理解功能,通過動態檢索視覺幀、音訊和字幕,將影片分析的 token 消耗降低最高 88%、成本降低最高 66%,並將準確率提升最高 7%。
推薦理由:原文公佈了功能特性與具體最佳化資料,讀者可以據此瞭解該技術如何降低影片處理成本。
MiniMax H3 在 vLLM-Omni 上的全系統最佳化與 FastVideo 的 FastH3 低延遲即時服務。文章詳細說明從全系統最佳化到 FastH3 的四步驟,並提供實際測試結果。
Microsoft Research 釋出了 GigaPath-Flash 與 GigaTIME-Flash 兩款高效病理基礎模型。GigaPath-Flash 採用 22M 引數 ViT‑S tile encoder 與 21M 引數 LongNet slide encoder,推理成本比原版低 50 倍,效能僅落後 3%。
Google DeepMind 推出了 Gemini Omni 1.1 Flash,帶來場景延伸、首尾幀插值、4K 超解析度升級、360p 高效草稿生成及影片參考等多項專業級影片生成與控制功能,現已通過 Gemini API 及 Google AI Studio 面向開發者開放。
Google Research 推出了 GlucoFM,這是一個用於連續血糖監測的自監督基礎模型,採用雙流設計將較慢的血糖趨勢與短期偏差明確分離。在多項臨床預測任務評估中,GlucoFM 的 PR-AUC 表現優於對比模型,並且在餐後血糖響應預測、跨資料集遷移以及少樣本適應場景中展現出優勢。
Google Research 推出了 AgentHands,這是一個在 XR 中為AI 助理對話生成互動式手勢的研究原型。該系統通過多維度分類法與工作流,將 LLM 的推理結果對映為與語音同步的 3D 手勢,提升了空間定位、複雜動作理解及安全性提示的效果。
長文本會增加模型處理內容和讀取記憶體的負擔。千問團隊推出 Qwen3.8-Flash-Next,SGLang 團隊也在發布當天加入支援。這個多模態模型使用混合注意力,只讓部分層仔細檢視長上下文,並用稀疏注意力挑出重要片段;另一種嵌入資料則放在主機記憶體,需要時再讀取,以減少 GPU 記憶體用量。文章也介紹 SGLang 對推論和記憶體管理所做的調整,並回報特定硬體設定下的速度與記憶體測試結果。
推薦理由:文章整理 SGLang 如何在模型發布當天支援 Qwen3.8-Flash-Next,並說明長文本注意力、GPU 記憶體使用與推論速度的取捨。
Wan 3.0 在 ComfyUI 上正式上線,提供一次生成 30 秒影片、擴充 20,000 字提示、10 張圖、5 檔影片、5 檔音訊的多媒體參考。
Google Research 推出 Mobility-Embedded POIs (ME-POIs) 框架,將聚合匿名移動模式與文本描述融合,顯著提升地點屬性預測。在公開基準上,ME-POIs 使訪問意圖預測提升 81.9%,價格等級分類提升 75.1%,繁忙度估計準確率提升 24.7%。
Diffusers 0.40.0 釋出多項新管線、張量並行支援與 CLI 改進,為開發者帶來更高效的多模態推論與操作體驗。 - 新管線:MiniMax‑H3、MiniMax Music 3、Wan Animate 2、LTX‑2.5 等,支援影像、音訊、影片同步生成。
summary_zh: 每日論文雷達於 2026‑08‑20 盤點 760 篇關於具身智慧的最新研究,並精選 10 篇關鍵論文。 - The Embodiment Gap in Robot Foundation Models:定義「具體化落差」,探討機器人基礎模型從泛化到實際硬體部署的挑戰。
ComfyUI 於 2026 年 8 月 18 日宣佈,已將 MCP 服務本地化開源,使用者可在自家機器上直接部署並與 Agent 連結。 - 本地與雲端雙重支援:MCP 仍保留雲端功能,使用者可同時使用一個帳號管理兩種環境。
推薦理由:本公告說明 ComfyUI 允許在本地機器上部署 MCP,讓使用者可透過 Agent 進行硬體感知的模型選擇與自動化工作流程,降低部署門檻並提升效率。
Sentence Transformers 釋出 v6.0 版本,首次引入第四種模型型別 MultiVectorEncoder,用於支援 ColBERT 風格的後期互動檢索。該版本允許開發者通過熟悉的 API 直接載入各類 PyLate、ColBERT 以及 ColPali 視覺文件檢索模型的檢查點,無需經過複雜的格式轉換。
Google Research 推出了 PhotoScan,這是一個通過標準 2D 智慧手機照片估算 3D 身體成分指標(如體脂率、A/G 比和 V/S 比)的深度學習框架。該模型在英國生物銀行資料上進行預訓練,並利用 677 名成人的佇列進行了微調;獨立驗證顯示其在預測胰島素抵抗方面達到了接近 DXA 掃描的準確度。
本文介紹如何在聊天請求中透過 content 陣列傳送文字與圖片,支援多種視覺模型且請求格式保持一致。 - 請求格式:使用 messages 陣列,包含 type: text 與 type: image_url 兩個部分,支援公開網址與 base64 資料格式。
推薦理由:原文詳細拆解如何透過 API 傳送圖片給多模態大語言模型,開發者可據此評估公開網址與 base64 編碼的適用時機。