如何跨延遲、吞吐量與正常執行時間評估大模型服務商效能
OpenRouter 官方發布指南,深入解析如何跨延遲、吞吐量、正常執行時間與量化精度評估不同大模型服務商的效能表現。 - 四大核心指標:延遲(首字延遲 TTFT)、吞吐量(每秒輸出 token 數)、正常執行時間與量化精度,並建議使用 p90 與 p99 尾部延遲而非平均值來衡量真實體驗。
OpenRouter 官方發布指南,深入解析如何跨延遲、吞吐量、正常執行時間與量化精度評估不同大模型服務商的效能表現。 - 四大核心指標:延遲(首字延遲 TTFT)、吞吐量(每秒輸出 token 數)、正常執行時間與量化精度,並建議使用 p90 與 p99 尾部延遲而非平均值來衡量真實體驗。
OpenRouter 正式推出 Classifiers 功能(目前處於 beta 階段),讓使用者能夠為 AI 世代自動加上結構化中繼資料,藉此追蹤代理行為、使用模型與成本分佈。
Google Research 介紹了 SymptomAI,這是一種用於日常症狀評估的對話式 AI 助理,並在 13917 名參與者的全國規模研究中評估了其鑑別診斷效能。研究發現,由AI 助理主動引導提問的策略顯著優於無引導的基線,且其生成的鑑別診斷結果在臨床專家盲測中的準確率表現良好。此外,研究還發現 SymptomAI 的診斷結果與參與者 Fitbit 可穿戴裝置的生物訊號變化趨勢相吻合。
Google Research 在其 Willow 超導處理器上演示了利用強化學習實現量子計算機持續校準的方法,顯著降低了邏輯錯誤率。實驗中,RL 訓練將錯誤率降低 3.5 倍,最終邏輯錯誤率低至每千個糾錯週期不到一次,並在數百量子位元的模擬中驗證了可擴充套件性。該方法將量子錯誤檢測事件作為主動學習訊號,展示了可持續計算的新範式。
Google DeepMind 宣佈向 DOE 17 個國家實驗室提供 4 千萬美元 AI 代幣和雲額度,以支援 Genesis 任務。
Google DeepMind 推出 Gemini 3.6 Flash、3.5 Flash-Lite 以及 3.5 Flash Cyber 三款新模型,旨在以更高效率和更低延遲支撐大規模 AI 助理工作流。
推薦理由:官方釋出了三個新的 Gemini Flash 系列模型,給出了詳細的效能指標與價格,讀者可以據此評估其在AI 助理工作流和高吞吐任務中的成本與效率。
Google DeepMind 推出了基於 3.5 Flash 構建並針對網路安全任務微調的輕量化模型 Gemini 3.5 Flash Cyber,旨在幫助防禦者快速發現、驗證和修補軟體漏洞。
Google DeepMind 和 Isomorphic Labs 聯合公佈了生物韌性策略,旨在防止模型被濫用,並與政府及科研機構合作以應對生物安全挑戰。該計劃涵蓋預防、檢測和響應三個核心領域,重點運用 AlphaFold、AlphaGenome、AlphaEvolve 以及 Isomorphic Labs 的 Drug Design Engine 等技術支援病原體監測和疫苗研發。
Google Research 通過數學分析解釋了擴散模型的創造力來源,指出正則化導致的分數平滑使模型在去噪過程中產生插值,從而生成新穎影像。文章以一維示例說明分數平滑如何軟化梯度,並通過實驗驗證權重衰減對其影響;在多維情形下,分數平滑幫助模型在資料流形上平衡質量與新穎性。作者已公開實驗程式碼。
Google DeepMind 推出由 Gemini 驅動的網路應用 ATL Saathi 的即時試點,為全印度的 Atal Tinkering Labs 教師提供 24/7 的規劃與培訓助手。該應用由 Gemini 3.5 Flash 模型提供底層智慧,首批在全國 100 所試點學校推出。
Google Research 推出了 SensorFM,這是一個在大規模未標註可穿戴感測器資料上預訓練的大型感測器基礎模型。該模型使用超一萬億分鐘的多模態感測器訊號進行自監督訓練,能夠跨越心血管、代謝、睡眠和心理健康等多個領域進行通用表徵,並支援構建更精準的個人健康AI 助理。
Google Research 在 Nature Cities 發表研究,通過在 10 個美國大城市進行的大規模真實實驗表明,利用導航平臺對一小部分行程進行協同路由干預,能夠分散交通並顯著提高行駛速度、減少碳排放。該研究修改了 Google Maps 演算法以引導車輛避開擁堵路段,通過系統性的城市級交叉實驗驗證了網路化導航技術在改善整體交通狀況方面的有效性。
OpenRouter 團隊對 OpenAI 與 Google 最新模型的圖片細節引數進行基準測試,發現在推理模型中將圖片設為低解析度(low)反而會因模型需花費更多思考力而增加總成本並降低準確率。
Google DeepMind 與 A24 宣佈建立首創的研究合作伙伴關係,旨在將前沿技術與下一代娛樂相結合,幫助藝術家開發新的工作流和技術。Google 還對 A24 進行了投資,雙方將在多個專案中展開深度研發協作,通過藝術家的反饋指導技術發展,以拓展未來娛樂的創作可能。
Hugging Face 與 Cerebras 聯合推出將開源語音 AI 架構與高速推理相結合的即時語音方案,實現自然的語音到語音互動。該開源級聯語音堆疊由 Nvidia Parakeet 進行語音識別、Cerebras 執行 Google DeepMind 的 Gemma 4 31B 模型進行推理、以及 Alibaba 的 Qwen3TTS 生成語音,並已應用於 Reachy Mini 機器人。
Google Research 釋出了擴充套件後的建築級屋頂反射率資料集,覆蓋全球 50 多個城市,旨在幫助城規劃者實施清涼屋頂解決方案以緩解極端熱浪。該資料集通過全新的高解析度 Heat Resilience Earth Engine App 公開提供,結合衛星資料與機器學習模型實現了 30 釐米的高空間解析度。
Google DeepMind 推出兩款新模型:速度最快且最具成本效益的影像模型 Nano Banana 2 Lite,以及用於高質量影片生成和對話式編輯的 Gemini Omni Flash。
推薦理由:Google DeepMind 推出 Nano Banana 2 Lite 與 Gemini Omni Flash 兩款新模型,為開發者串聯影像生成與影片編輯提供了低成本且高效的新方案。
Google Research 推出了 TabFM,這是一個專為表格資料分類和迴歸設計的零樣本基礎模型。該模型通過將表格預測轉換為上下文學習問題,消除了傳統機器學習中的手動模型訓練、超引數調優和複雜特徵工程,能夠在單次前向傳遞中對未見過的表格生成高質量預測。
DeepSeek 於 4 月 24 日發布旗艦 DeepSeek V4 模型後,在 OpenRouter 上的 token 佔有率在六個月內實現翻倍,其中很大一部分增長由 Agentic 工作負載驅動。
Google Research 宣佈推出一項新架構,將多Token預測(MTP)技術應用到已部署且權重被凍結的 Gemini Nano v3 模型上。該方法採用零複製架構直接利用主模型的鍵值快取,在 Pixel 9 和 10 系列裝置上實現了 50% 或更高的推理速度提升,並減少了能耗。
Google Research 提出了線性彈性快取方法,將頁面驅逐建模為滑雪租賃問題,並利用輕量級機器學習動態調整快取大小。在 Spanner 生產工作負載的測試中,該方法使記憶體使用量減少了 15.5%,快取命中率略有下降,並將總擁有成本(TCO)降低了約 5%。
Google Research 探討了大語言模型中推理如何解鎖引數化知識,通過控制實驗揭示了計算緩衝區效應和事實啟動兩大機制。研究表明,即使面對簡單的單跳問題,啟用推理也能幫助模型召回原本難以觸及的正確答案。不過,推理階段產生的中途幻覺會顯著降低最終答案的正確率。
Google DeepMind 宣佈在 Gemini 3.5 Flash 中內建 computer use 功能,使其能夠跨瀏覽器、移動端和桌面環境執行AI 助理任務。該功能支援長週期和企業自動化場景,並通過對抗性訓練與可選的企業安全保護系統來降低提示詞注入等風險。開發者現可通過 Gemini API 和 Gemini Enterprise Agent Platform 開始構建相關應用。
ParallelKernelBench 是一個測試多 GPU 核心生成的基準,評估 GPT‑5.5、Gemini 3 Pro 等前沿模型的表現。 - 核心特性:87 個實際工作負載,涵蓋多種分散式並行策略。
推薦理由:此研究揭示前沿 LLM 在多 GPU 核心生成上的侷限,提供可量化的基準與改進方向,並展示首批成功案例。
Google DeepMind 與英國政府及多方合作伙伴共同推出了一款基於 Gemini 構建的 AI 規劃原型工具,旨在將房屋建設申請的處理時間縮短一半。該工具能夠整合資料、識別本地政策、總結反饋並起草評估報告,同時保持規劃官員的最終決策權,計劃於 2027 年面向全國所有地方議會推廣。
Google Research 開發了一個高解析度深度學習框架,將衛星影像轉化為英格蘭全境林籬、石牆和樹叢的向量化資料集。該框架基於在超 3 億張全球衛星影像上預訓練的 ViT Backbone,並結合雙層標註系統與多邊形緊湊度評分,有效解決了複雜空間拓撲與計算規模等技術難題。這一新資源賦能土地所有者與自然保護主義者測量並擴充套件微觀生態特徵,在不損害糧食安全的前提下應對氣候與生物多樣性危機。
大型 AI 模型在 TPU 上運作時,常要花不少時間搬移資料,讓晶片等不到運算所需的內容。LMSYS 團隊為 SGLang-JAX 製作新的 MoE 核心,把資料搬移和模型運算排在一起進行,讓 Ling-2.6-1T 的 MoE 預填延遲從 5.16 毫秒降到 2.42 毫秒;在相同測試中,16 張 TPU v7x 的輸出速度是 16 張 H200 的 1.29 到 1.77 倍。不過,整體預填速度只提升約 25%,因為 GLA 預填目前仍是主要瓶頸。
Google DeepMind 官方釋出了 AI 助理安全控制路線圖,旨在通過結合模型對齊與系統級防禦來應對自主AI 助理帶來的潛在威脅。該路線圖涵蓋威脅建模、基於監控的預防與響應機制,並已通過分析百萬條程式設計AI 助理軌跡來最佳化安全協議與即時監控。
Google Research 分享了關於消費者理解皮膚科 AI 工具的研究,指出結構化 AI 輔助能顯著提升使用者識別皮膚狀況的能力與準確率。在一項針對 2,345 名參與者的研究中,使用 AI 工具組的病情命名準確率達到 23%,接近未輔助對照組 8% 的三倍。然而,由於資訊通用性限制,標準 AI 組在確定後續醫療行動時的準確率並未表現出顯著提升。
Google Research 推出了正則化 f 散度核檢驗新框架,旨在提高機器學習模型隱私審計與機器遺忘評估的敏感性與準確性。該框架通過相對距離測試和自適應方法,有效控制了假陽性,並在物理學資料集、差分隱私及機器遺忘演算法評估中表現出優於傳統基線方法的效能。
Google DeepMind 釋出了採用 Apache 2.0 協議開源的實驗性模型 DiffusionGemma,這是一款基於 Gemma 4 家族和 Gemini 擴散研究的 26B MoE 文本擴散模型,可在專用 GPU 上實現高達 4 倍的文本生成速度。
推薦理由:該模型採用文本擴散架構實現數倍於傳統自迴歸模型的推理速度,為開發者探索本地即時互動工作流提供了新的硬體利用方式與微調路徑。
Google DeepMind 聯合 Schmidt Sciences、Cooperative AI Foundation、ARIA 及 Google.org 宣佈推出一項高達 1000 萬美元的技術研究資助計劃,面向全球研究人員徵集多AI 助理 AI 安全領域的提案。
Gemini 3.5 Live Translate 是 Google DeepMind 推出的最新音訊模型,支援 70+ 語言的即時語音對語音翻譯。該模型可持續流式處理,幾秒延遲,自動檢測語言並保持語調、節奏與音高。
推薦理由:Gemini 3.5 Live Translate 提供 70+ 語言的即時語音翻譯,減少停頓,適用於會議、通話等場景,幫助開發者快速構建多語言翻譯應用。支援多語言輸入,無需手動配置,噪聲魯棒性強,適合嘈雜環境。
DeepMind 推出 Gemma 4 12B,這是一款無編碼器的統一多模態模型,能夠直接在配備 16GB VRAM 的筆記本上執行。它在保持與 26B MoE 近似的推理效能的同時,顯著降低了記憶體佔用,並首次支援原生音訊輸入。
推薦理由:Gemma 4 12B 以無編碼器的多模態架構實現低記憶體、強推理,適配本地 16GB VRAM 機器,讀者可據此評估在邊緣裝置上的部署可能。
Google DeepMind Accelerator: Robotics 選拔了來自歐洲的15家機器人初創公司,提供為期三個月的密集指導與技術支援,幫助其將 AI 整合到核心產品中,並將 Gemini 機器人模型納入其技術棧。
DeepMind 在獅子山開展了一項預註冊試驗,評估 AI 輔助學習工具 Guided Learning 對學生數學成績的影響。實驗顯示,學生使用 Guided Learning 的數學成績提升了 0.258 標準差,等同於 1.2 至 1.7 年的學習進度;在課堂中使用 Gemini 的教師班級更高達 1.8 至 2.5 年的進步。
Google Research 推出了 Gemini Enterprise Agent Platform 的 Agentic RAG,利用多代理協同、規劃與足夠上下文機制,提升多源多跳查詢的準確率至 34%,在跨語料庫實驗中保持 90.1% 的高準確率,且延遲與單語料庫版本相近。該功能已作為公開預覽提供。
Google Research 推出了被動心率監測系統(PHRM),利用智慧手機前置攝像頭在日常面部解鎖後進行影片採集,通過深度學習實現全膚色覆蓋的心率與靜息心率精準追蹤。該研究結合實驗室與真實世界評估,在各類膚色上均達到了與穿戴裝置相當的準確率,並同步開源了相關資料集與“PHRM-mini”預訓練模型供合規研究者申請使用。
Google Research公開了其水文模型框架,供各國氣象機構在GitHub上使用和構建AI洪水預報模型。該框架基於PyTorch實現LSTM網路,支援使用Caravan資料集訓練,並已在Czech Hydrometeorological Institute驗證,提升預測時效6天。
推薦理由:Google公開的水文框架讓各國氣象機構可自行訓練AI洪水預報模型,提升預測時效並降低技術門檻。
強化學習:基礎設施瓶頸與 Modal Dojo 解決方案 - 核心問題:RL 後訓練需要三大獨立基礎設施,包含可擴充套件的訓練引擎、近光速推論引擎以及可並行執行的環境沙盒;多節點擴充套件時權重同步成瓶頸。