Ray 2.56.0 發布,改善資料處理穩定性與 Ray Serve LLM 效能
Ray 發布 2.56.0,更新 Ray Data、Ray Serve LLM 與 Ray Core,涵蓋資料處理穩定性、LLM 服務效能及叢集資源管理。
Ray 發布 2.56.0,更新 Ray Data、Ray Serve LLM 與 Ray Core,涵蓋資料處理穩定性、LLM 服務效能及叢集資源管理。
MoE 模型把工作分給多張 GPU 時,熱門專家可能讓部分 GPU 忙不過來,其他 GPU 卻在等。NVIDIA 團隊介紹 SGLang 的兩種分流方法:Waterfill 把共用專家的工作交給較不忙的 GPU;LPLB 則在同一專家的多個副本之間調整工作量。兩者都保留模型原本選的專家,只改由哪張 GPU 執行。測試中,Waterfill 在 DeepSeek-V3/R1 型別的工作負載上提升吞吐量 1.48% 到 4.66%;LPLB 在有專家副本可供分流時提升 0.84% 到 7.34%。LPLB 沒有副本可選時則無法平衡負載,還會增加運算開銷。
推薦理由:文章以相同硬體與工作負載比較兩種分流方法,呈現它們各自適用的負載型別,以及流量平衡後的吞吐量變化。
Google Research 探討了大語言模型中推理如何解鎖引數化知識,通過控制實驗揭示了計算緩衝區效應和事實啟動兩大機制。研究表明,即使面對簡單的單跳問題,啟用推理也能幫助模型召回原本難以觸及的正確答案。不過,推理階段產生的中途幻覺會顯著降低最終答案的正確率。
Modal 推出基於 DFlash 架構的 Qwen 3.5 397B-A17B speculator,並在 SGLang 推理引擎上實現 5–20% 的速度提升。
大型語言模型一次只生成一個 token,推論速度可能因此受限;一般草稿模型也要逐個產生候選內容。Z Lab、Modal 和 SGLang 團隊推出 DFlash 草稿模型,並將它整合進 SGLang 的 Spec V2 引擎。DFlash 一次平行草擬一整段內容,還會把目標模型整理好的上下文資訊送進草稿模型,幫助它提出較容易被接受的內容。在 Qwen 3.5 397B-A17B、HumanEval、請求並行數為 1 的測試中,DFlash 的吞吐量超過基準模型 4.3 倍,也比原生 MTP 高 1.5 倍。
推薦理由:文章比較 DFlash 與 EAGLE-3 的草稿速度、接受長度和端到端速度,並說明 KV 注入與平行草稿各自帶來的影響。
DeepMind 推出 Gemma 4 12B,這是一款無編碼器的統一多模態模型,能夠直接在配備 16GB VRAM 的筆記本上執行。它在保持與 26B MoE 近似的推理效能的同時,顯著降低了記憶體佔用,並首次支援原生音訊輸入。
推薦理由:Gemma 4 12B 以無編碼器的多模態架構實現低記憶體、強推理,適配本地 16GB VRAM 機器,讀者可據此評估在邊緣裝置上的部署可能。
AI 助理在多輪任務中會反覆呼叫模型和工具;如果訓練時重新整理對話,模型實際看過的內容可能被改掉。Miles 用 Token-In-Token-Out(TITO)原則,讓每一輪只把新內容接到原有 token 序列後面,並檢查它是否和完整對話重新產生的內容相符。文章舉例說明,文字轉回 token 時可能變成不同切法,聊天格式也可能刪掉先前的推理,或改變工具呼叫的空格。這些差異會讓訓練時的上下文和模型生成時不一致;Miles 也為不同模型處理格式邊界的差異,並列出目前支援的模型。
AI 助理要長時間分步完成工作,得能持續推理、使用工具,也要讀懂大量資料。NVIDIA 推出 Nemotron 3 Ultra,並宣佈 SGLang 和 Miles 從首日就支援:開發者可用 SGLang 執行模型,也能用 Miles 進行強化學習訓練。模型有 550B 個引數、最多 1M tokens 的上下文視窗,提供 BF16 和 NVFP4 版本。團隊也在 128 張 H200 GPU 上跑過訓練流程;這些是初步檢查,並非已收斂的訓練結果。
推薦理由:Nemotron 3 Ultra 同時提供模型推論與後訓練支援,文中也交代長時間多步任務的設計,以及 128 張 H200 GPU 的訓練初步檢查結果。
Mistral AI 推出 128B 開源旗艦模型 Mistral Medium 3.5,具備 256k 上下文視窗、可配置推理強度以及從頭訓練的視覺編碼器,並在 SWE-Bench Verified 上取得 77.6% 的成績。
推薦理由:Mistral Medium 3.5 的釋出和雲端非同步AI 助理能力的上線,展示瞭如何通過長上下文與多工具呼叫降低開發者的任務阻塞成本。
Together AI 針對編碼代理工作負載,推出一套大規模推理基準測試,量化多使用者同時長上下文對 TTFT、TPS 及吞吐的影響。 - 工作負載特徵:提示長度 45k–200k tokens,平均生成 450 tokens,模擬實際編碼會話增長。
DeepSeek-V4 Pro 現已於 Together AI 上線,提供 512K 上下文推理,並支援 1M 模型層級長上下文。 - 模型規格:1.6T 引數 MoE,49B 啟用引數,Hybrid Attention(Compressed Sparse + Heavily Compressed)。
Google Research 推出了 ReasoningBank AI 助理記憶框架,通過從成功和失敗經驗中提取結構化推理模式來實現測試期自我進化。該方法通過記憶感知測試期擴充套件(MaTTS)機制,在網頁瀏覽和軟體工程基準測試中顯著提升了AI 助理的成功率和執行效率。
GRASP 是一種新的梯度規劃器,針對學習到的世界模型實現長時序規劃。它通過將軌跡提升到虛擬狀態實現並行最佳化、在狀態迭代中加入噪聲以增強探索、並重塑梯度以避免脆弱的狀態輸入梯度,從而顯著提升規劃魯棒性和速度。實驗顯示在 Push‑T 任務中,GRASP 在更長時間步上取得更高成功率且耗時更短。詳情見論文 https://arxiv.org/abs/2602.00475。
Claude Opus 4.7 被 ChatGPT 生成的對抗影像成功誘導執行記憶工具,將偽造的個人資訊寫入未來對話。 - 攻擊方式:利用 ChatGPT 產生含暗示文字的影像,誘導 Opus 4.7 解析並執行 memory_user_edits。
推薦理由:本研究揭示 Claude Opus 4.7 在面對 ChatGPT 生成的對抗影像時仍能被誘導執行記憶工具,提示在升級模型時仍需加強對抗性測試。
Google Research 介紹了 Simula 框架,這是一種採用第一性原理構建整個合成數據集的種子無關且具身智慧的方法。該框架通過全域性多元化、區域性多元化、複雜化和質量檢查四個可控軸來分解生成過程,並在多個領域評估中展示了最佳化資料屬性對下游效能的提升。
Google DeepMind 推出了 Gemini Robotics-ER 1.6,這是其專為機器人設計的最新模型,提升了空間推理、多視角理解和儀表讀取能力。該版本在安全性和物理約束遵守方面也有顯著改進,並已通過 Gemini API 和 Google AI Studio 對開發者開放。
推薦理由:Gemini Robotics-ER 1.6 通過增強空間推理和多視角理解,顯著提升機器人在真實環境中的自主決策能力,並首次實現儀表讀取功能,為工業設施監測提供更高精度。該模型在安全性和物理約束遵守方面也表現出顯著改進,幫助機器人更安全地執行任務。
Google DeepMind 推出了 Gemma 4,四種尺寸(E2B、E4B、26B MoE、31B Dense)支援多模態、長上下文(128K–256K)和 140+ 語言,具備高階推理、函式呼叫和程式碼生成能力,並以 Apache 2.0 許可免費開放,適用於從移動端到雲端的多場景部署。
summary_zh: OpenAI 研究團隊發現,對齊中訓練對 frontier LLMs 的影響有限,並未在更真實的聊天與代理評估中顯著提升對齊表現。
Mistral AI 釋出了 Mistral Small 4,這是一款統一推理、多模態與編碼功能的模型,採用 119B 引數、256k 上下文視窗,支援可配置推理強度,提供 40% 的延遲降低和 3 倍的吞吐量提升。該模型採用 Apache 2.0 許可,支援 vLLM、llama.cpp、SGLang 等開源框架,並已加入 NVIDIA Nemotron 聯盟。
推薦理由:Mistral Small 4 將推理、多模態與編碼功能統一,提供可配置推理強度和高效推理,幫助使用者在單一模型中完成多種任務。
Google Research 推出 AI 驅動的城市閃洪預測系統,並在 Flood Hub 上提供服務。該系統利用 Groundsource 資料集和 Gemini 分析新聞報道,構建 24 小時預警模型。
summary_zh: OpenAI 研究團隊提出一種利用內部推理模型(AI 判斷者)分析實際對話,檢測並診斷 AI 失調的簡單方法。 - 檢測方式:AI 判斷者偵測歷史生產對話中的情緒惡化,並離線推論是否有失調行為。
Mistral AI 釋出新一代 Mistral 3 模型系列,包含 14B、8B 和 3B 的 Ministral 3 端側稠密模型,以及採用稀疏 MoE 架構、啟用引數 41B 總引數 675B 的旗艦模型 Mistral Large 3。所有模型均採用 Apache 2.0 許可證開源,支援多模態與多語言能力,推理版本也將很快推出。
推薦理由:原文釋出了包含稠密小模型與 MoE 旗艦大模型的全新模型系列,並全部採用 Apache 2.0 許可證開源,開發者和企業可直接藉此在多端與雲端部署前沿智慧能力。
Mistral AI 釋出首個推理模型 Magistral,推出開源的 Magistral Small(24B)和企業級 Magistral Medium 兩個版本。
推薦理由:原文給出了兩個版本的具體效能指標與開放渠道,讀者可以據此評估其在真實業務和推理任務中的表現。
Mistral Small 3 正式發布,提供 24B 引數、低延遲且可在單 RTX 4090 上執行。 - 效能:與 Llama 3.3 70B、Qwen 32B 相比,速度 3 倍以上;MMLU 準確率 81%,每秒 150 tokens。