跳到正文

#多模態

RSS
今日 4 則
9月25日週五
  1. Google DeepMind64

    Google DeepMind 釋出 Gemini 3.8 Live with Live Avatar

    Google DeepMind 釋出 Gemini 3.8 Live with Live Avatar,為對話式 AI 帶來近即時的視覺形象與流媒體影片支援。該功能原生耦合了即時對話與低延遲影片生成,具備精確唇形同步、動態視覺形象、非同步工具呼叫以及跨 97 種語言的原生語音同步能力,現已在 Gemini Enterprise 中可用。

9月24日週四
9月23日週三
  1. Google DeepMind84

    Google DeepMind 釋出 Gemini 3.8 Flash TTS 與 Flash-Lite TTS 語音生成模型

    Google DeepMind 推出 Gemini 3.8 Flash TTS 和 Gemini 3.8 Flash-Lite TTS 兩款全新語音生成模型,支援超過 100 種語言的自然語言提示詞聲音設計、30 秒聲音復刻以及逐行臺詞精細導演。

    推薦理由:官方釋出的最新語音生成模型提供了細粒度的臺詞導演和聲音定製能力,讀者可以據此評估其在多語言配音與AI 助理互動中的實際表現。

9月22日週二
9月21日週一
  1. Vercel Blog62

    MiMo V2.6 模型現已在 AI Gateway 上可用

    MiMo V2.6 Pro、Flash 與 Pro UltraSpeed 三款來自小米的模型現已在 AI Gateway 上可用。它們支援文本、影像、音訊和影片輸入,並具備推理、工具呼叫、JSON 輸出、提示快取等功能,擁有 1M-token 上下文視窗和最高 128K 輸出 token。

9月20日週日
9月18日週五
9月16日週三
9月10日週四
  1. Hugging Face Transformers Releases80

    Hugging Face Transformers v5.17.0 發布:新增多款前沿開源模型與架構支援

    Hugging Face Transformers v5.17.0 正式發布,本次更新擴充多項全新模型架構與重大功能改進,涵蓋多模態、語音識別及混合專家模型支援: - 新模型與架構新增: - HYV4:780B 引數的混合專家(MoE)模型,每 Token 啟動 49B 引數,具備 1M tokens 上下文視窗。

    推薦理由:此版本擴充多項新模型架構與語音多模態支援,開發者可藉此評估最新開源模型的整合與升級選項。

9月9日週三
9月8日週二
  1. Google DeepMind89

    Google DeepMind 釋出 AlphaGenome Atlas:人類基因組變異預測圖譜

    Google DeepMind 推出了 AlphaGenome Atlas 平臺,包含人類基因組中 90 億種單核苷酸變異的預測效應,並同步釋出了 AlphaGenome Variant Impact 評分。該平臺提供網站埠、API 以及 Google Antigravity 中的 skill,旨在幫助學術研究人員理解基因變異對分子生物學的影響。

    推薦理由:該平臺預先計算了人類基因組中所有可能單核苷酸變異的分子效應預測併發布了配套評分指標,為研究人員快速評估基因變異影響提供了新資源。

9月3日週四
  1. Google DeepMind84

    Google DeepMind 釋出全球天氣大模型 WeatherNext 3

    Google DeepMind 和 Google Research 釋出全新的全球天氣大模型 WeatherNext 3,支援每小時即時衛星資料輸入並提供高達 5 公里解析度的預測。該模型在降水預測精度上取得顯著提升,並增加了清潔能源變數預測,現已整合至 Search、Gemini、Maps 和 Cloud 等產品中。

    推薦理由:該模型通過融合即時衛星資料與高解析度網格,提升了全球天氣預報的精度和更新頻率,為清潔能源規劃和區域氣象服務提供了更可靠的資料支援。

9月2日週三
  1. Google DeepMind78

    Google DeepMind 推出 Gemini AI 助理影片理解功能

    Google DeepMind 推出了適用於 Gemini 最新模型的AI 助理影片理解功能,通過動態檢索視覺幀、音訊和字幕,將影片分析的 token 消耗降低最高 88%、成本降低最高 66%,並將準確率提升最高 7%。

    推薦理由:原文公佈了功能特性與具體最佳化資料,讀者可以據此瞭解該技術如何降低影片處理成本。

9月1日週二
8月28日週五
8月27日週四
  1. Google Research62

    GlucoFM:用於連續血糖監測的基礎模型

    Google Research 推出了 GlucoFM,這是一個用於連續血糖監測的自監督基礎模型,採用雙流設計將較慢的血糖趨勢與短期偏差明確分離。在多項臨床預測任務評估中,GlucoFM 的 PR-AUC 表現優於對比模型,並且在餐後血糖響應預測、跨資料集遷移以及少樣本適應場景中展現出優勢。

8月26日週三
  1. LMSYS Org Blog78

    SGLang 在發布當天支援千問 Qwen3.8-Flash-Next

    長文本會增加模型處理內容和讀取記憶體的負擔。千問團隊推出 Qwen3.8-Flash-Next,SGLang 團隊也在發布當天加入支援。這個多模態模型使用混合注意力,只讓部分層仔細檢視長上下文,並用稀疏注意力挑出重要片段;另一種嵌入資料則放在主機記憶體,需要時再讀取,以減少 GPU 記憶體用量。文章也介紹 SGLang 對推論和記憶體管理所做的調整,並回報特定硬體設定下的速度與記憶體測試結果。

    推薦理由:文章整理 SGLang 如何在模型發布當天支援 Qwen3.8-Flash-Next,並說明長文本注意力、GPU 記憶體使用與推論速度的取捨。

8月25日週二
8月21日週五
8月20日週四
8月19日週三
  1. ComfyUI Blog73

    ComfyUI 推出本地化 MCP 開源,Agent 可自動化模型選擇與工作流程

    ComfyUI 於 2026 年 8 月 18 日宣佈,已將 MCP 服務本地化開源,使用者可在自家機器上直接部署並與 Agent 連結。 - 本地與雲端雙重支援:MCP 仍保留雲端功能,使用者可同時使用一個帳號管理兩種環境。

    推薦理由:本公告說明 ComfyUI 允許在本地機器上部署 MCP,讓使用者可透過 Agent 進行硬體感知的模型選擇與自動化工作流程,降低部署門檻並提升效率。

8月18日週二
8月17日週一
  1. Google Research65

    Google Research 推出 PhotoScan:通過智慧手機影像估算心臟代謝風險

    Google Research 推出了 PhotoScan,這是一個通過標準 2D 智慧手機照片估算 3D 身體成分指標(如體脂率、A/G 比和 V/S 比)的深度學習框架。該模型在英國生物銀行資料上進行預訓練,並利用 677 名成人的佇列進行了微調;獨立驗證顯示其在預測胰島素抵抗方面達到了接近 DXA 掃描的準確度。

8月14日週五
  1. openrouter blog75

    如何透過 API 將圖片傳送給大語言模型:視覺指南

    本文介紹如何在聊天請求中透過 content 陣列傳送文字與圖片,支援多種視覺模型且請求格式保持一致。 - 請求格式:使用 messages 陣列,包含 type: text 與 type: image_url 兩個部分,支援公開網址與 base64 資料格式。

    推薦理由:原文詳細拆解如何透過 API 傳送圖片給多模態大語言模型,開發者可據此評估公開網址與 base64 編碼的適用時機。