跳到正文

#多模態

RSS
今日 1 則
11月11日週三
  1. Google Developers Blog82

    Google AI Edge Gallery 加入裝置端語音辨識與文字轉語音功能

    Google於 2026 年 11 月 10 日宣佈,Google AI Edge Gallery 與相關開發工具加入裝置端語音辨識(ASR)和文字轉語音(TTS),可在離線情境下提供語音互動。

    推薦理由:文章整理 Android 與跨平臺語音方案的模型、延遲及整合方式,方便開發者依裝置與部署需求比較選擇。

11月10日週二
  1. Google DeepMind83

    Google DeepMind 推出 Gemini Robotics 2.5,提升機器人靈巧操作能力

    Google DeepMind 推出 Gemini Robotics 2.5,擴大機器人可學習的任務範圍,並提升執行速度、可靠度與安全性。 - 任務評估:模型在 200 多項任務中接受測試;相較先前基準,依任務型別成功率提高 30% 至 100%,完成速度快 20% 至 30%。

    推薦理由:文章以 200 多項任務的評估與 Mercedes-Benz 生產線概念驗證,呈現模型在操作能力、作業可靠度及機器人安全上的進展。

  2. Google AI Official Blog62

    Google 擴大與 Adobe 合作,將創意與生產力工具整合至 Google 產品

    Google 宣佈擴大與 Adobe 的合作,將 Adobe 創意與生產力工具整合至 Google 產品,並把 Google 的 AI 模型匯入 Adobe 應用程式。

    推薦理由:合作把 Adobe 工具接入 Google 的搜尋、郵件、雲端硬碟與 Gemini,並讓企業在 Gemini Enterprise 使用設計與行銷代理程式,呈現跨應用整合方向。

  3. Vercel Blog57

    Vercel Token Pass 新增 GLM 5.3 Flash

    Vercel Token Pass 新增 GLM 5.3 Flash,這款 Z.ai 原生多模態編碼模型具備 1M-token 上下文視窗。 訂閱方案:Pro 團隊每月支付 $30,可取得每月 $80 額度,服務透過 AI Gateway 運作。 接入方式:可在團隊 AI Gateway 儀錶板的 Token Pass 頁面新增模型,也可參閱 Token Pass 檔案;支援透過 fx、Pi、Cline、Command Code 等編碼代理程式使用,或以 AI SDK 自行建置。預設啟用 Zero Data Retention。

  4. Vercel Blog67

    Vercel AI Gateway 開放使用 Anthropic Claude Fable 5.2

    Vercel AI Gateway 開放使用 Anthropic 的 Claude Fable 5.2,提供模型呼叫、用量追蹤與模型回退設定。 模型能力:Claude Fable 5.2 面向開放式技術工作,在程式開發、推理與視覺能力上優於先前的 Fable 模型;可無人看管地執行冗長且目標模糊的任務,也能協調較小型模型,或作為其他 Claude 模型的顧問。原文並稱其溝通更清楚、輸出速度更快。 推理設定:Effort 可設為 low 至 max,API 預設為 high。 資料保留與安全限制:模型啟用了資安與生物學安全分類器,使用時必須接受資料保留;Anthropic 不支援此模型的 Zero Data Retention。提示詞與回覆會保留 30 天,且不會用於訓練 Claude。若團隊已啟用 ZDR,AI Gateway 會回傳錯誤,不會轉送請求。 模型回退:若資安分類器拒絕請求,可在 providerOptions.gateway 加入 models 陣列,讓 AI Gateway 依序嘗試其他模型。範例設定會先回退至 Opus 5.5,再至 Sonnet 5.5;此設定適用於各種 AI Gateway API 格式。 使用方式與費用:可透過 AI SDK、Chat Completions、Responses、Anthropic Messages API,或連線 AI Gateway 的程式代理呼叫;模型名稱為 anthropic/claude-fable-5.2。在 Claude Code、Codex、Cursor 等工具中使用,需安裝最新版 Vercel CLI 並執行設定。AI Gateway 依照供應商定價,不加價,也不對推論收取平臺費用,包括 BYOK 請求。

    推薦理由:Claude Fable 5.2 在 AI Gateway 的接入同時附帶資料保留與安全分類器限制,也提供模型回退設定,呈現實際使用時需考量的部署條件。

  5. Vercel Blog78

    Vercel AI Gateway 2026 年 11 月報告:決策模型佔 26% 請求,Anthropic 新團隊首選近乎領先兩倍

    Vercel 發布 2026 年 11 月 AI Gateway Production Index,指出決策模型已佔 10 月全部請求的 26%,而新付費團隊首選 Anthropic 的數量近乎是 OpenAI 的兩倍。

    推薦理由:Vercel 以匿名彙總流量呈現模型採用與更替速度,並列出各項統計口徑,便於理解企業團隊的實際使用變化。

  6. Vercel Blog48

    Muse Ember 開放於 Vercel AI Gateway 使用

    Meta 的 Muse Ember 現已可透過 Vercel AI Gateway 使用,這款輕量推理模型面向 AI 助理執行流程中大量重複的工作,例如程式撰寫子任務、工具呼叫與檔案分析。 輸入與推理:支援文字、圖片與影片輸入,提供 1M-token 上下文視窗;推理強度可從 minimal 調整至 max。 串接方式:可透過 AI SDK、Chat Completions、Responses 與 Anthropic Messages API 呼叫,也能由連線 AI Gateway 的程式碼AI 助理使用。模型名稱為 meta/muse-ember。 費用與管理:AI Gateway 依照供應商定價,不加價,也不對推論收取平臺費用,包含 Bring Your Own Key(BYOK)請求;另提供用量與成本追蹤、自訂報表、Zero Data Retention 支援、API 金鑰預算、路由規則、重試與故障轉移設定。

11月7日週六
  1. Vercel Blog59

    Chat SDK AI 助理可透過 json-render 串流生成式介面

    Vercel Chat SDK AI 助理現在可透過 json-render 串流生成式介面,將模型輸出的 JSON 規格轉換成 Chat SDK 卡片,再由各平臺的 adapter 發布為原生格式。 元件與平臺格式:具型別的元件目錄涵蓋表格、圖表、按鈕等;Slack 使用 Block Kit,Teams 使用 Adaptive Cards,無須為不同訊息形狀分別維護工具。 串流更新:streamCard 在根元素有內容後發布卡片,並隨新元素串流更新訊息;預設最多每 500 ms 傳送一次編輯。串流結束後,訊息會顯示通過驗證的最終卡片。 規格驗證與平臺限制:toCard 會依元件結構描述檢查各元素屬性,無效規格會觸發 CardSpecError,並附上可讀的問題清單,可回傳給模型修正。平臺超出單則訊息容量的內容會由 adapter 降級處理;例如 Slack adapter 會將第二個表格轉成程式碼區塊,也可傳入限制來拒絕這類規格。 開始使用:可參閱檔案或試用 playground。

11月6日週五
  1. vLLM Official Blog75

    VeRL-Omni v0.3.0 擴充套件多模態強化學習訓練與非同步執行

    VeRL-Omni v0.3.0 擴充套件多模態強化學習的訓練配方與執行方式,將 V1 trainer 設為預設,並加入更多非同步 rollout、模型整合與硬體支援。

    推薦理由:MiniCPM-o 4.5 的對照實驗顯示,非同步訓練的每提示詞耗時優勢會隨回應長度改變,可供依工作負載選擇執行配置時參考。

  2. Google Research75

    Google 研發 AI-PPG-ACC-HTN 手錶高血壓偵測系統

    AI-PPG-ACC-HTN 是 Google 研發的一套可於消費者智慧手錶上偵測高血壓的多模態 AI 系統,透過 PPG 與 ACC 兩種感測器,無需袖帶校正即可達到與傳統血壓測量相近的準確度。

    推薦理由:此研究展示了利用手錶感測器偵測高血壓的可行性,並在臨床測試中達到與傳統袖帶相近的準確度,為全球健康監測提供新方法。

11月5日週四
  1. Vercel Blog55

    Vercel AI Gateway 增加更多 Kimi K3.1 Pro 的 ZDR 供應商

    Vercel AI Gateway 現在可透過更多支援零資料保留(ZDR)的供應商,呼叫 Kimi K3.1 Pro 與高速版本 Kimi K3.1 Pro Highspeed。 模型特性:兩款模型都支援 1M-token 上下文視窗與圖片輸入;Kimi K3.1 Pro 在程式開發、3D 建模與金融分析方面有所改進,並可處理從小幅修正到完整專案的長時間 Agent 工作。Highspeed 適合重視回應速度的互動工作,例如程式開發 Agent。 ZDR 路由:此前只有 Moonshot AI 提供這兩款模型。啟用單次請求的 zeroDataRetention 選項,或在 AI Gateway 儀錶板設定中為團隊所有請求啟用 ZDR 後,系統只會路由至簽有 ZDR 協議的供應商;若沒有可用供應商,請求會失敗,不會改送至未簽約的供應商。 呼叫方式:可透過 AI SDK、Chat Completions、Responses、Anthropic Messages API,或連線 AI Gateway 的程式開發 Agent 呼叫。模型名稱為 moonshotai/kimi-k3.1-pro;Highspeed 使用 moonshotai/kimi-k3.1-pro-highspeed。也可安裝最新版 Vercel CLI,在 Claude Code、Codex、Cursor 等 Agent 中選擇模型。 費用:AI Gateway 依供應商定價,不加價;推論不收平臺費,包含 Bring Your Own Key(BYOK)請求。

11月4日週三
  1. llama.cpp Releases82

    llama.cpp v0.9.0 發布:新增 FP8 E4M3 量化與多序列 KV 快取最佳化

    llama.cpp v0.9.0 正式發布,新增 FP8 E4M3 量化、flash_attn_ext_rows 等多項功能,並擴充多模態與音訊支援。 - 量化:加入 OCP FP8 E4M3 tensor type,提供轉換輔助,提升量化模型效能。

    推薦理由:此版本新增 FP8 E4M3 量化與多序列 KV 快取最佳化,並支援多種新架構與音訊功能,能顯著提升多模態推理效能與跨平臺部署彈性,為開發者帶來更高效能與更低延遲。