跳到正文

#推理

RSS
今日 0 則
6月30日週二
6月26日週五
  1. LMSYS Org Blog68

    SGLang 如何用 Waterfill 和 LPLB 平衡 DeepEP MoE 負載

    MoE 模型把工作分給多張 GPU 時,熱門專家可能讓部分 GPU 忙不過來,其他 GPU 卻在等。NVIDIA 團隊介紹 SGLang 的兩種分流方法:Waterfill 把共用專家的工作交給較不忙的 GPU;LPLB 則在同一專家的多個副本之間調整工作量。兩者都保留模型原本選的專家,只改由哪張 GPU 執行。測試中,Waterfill 在 DeepSeek-V3/R1 型別的工作負載上提升吞吐量 1.48% 到 4.66%;LPLB 在有專家副本可供分流時提升 0.84% 到 7.34%。LPLB 沒有副本可選時則無法平衡負載,還會增加運算開銷。

    推薦理由:文章以相同硬體與工作負載比較兩種分流方法,呈現它們各自適用的負載型別,以及流量平衡後的吞吐量變化。

6月25日週四
  1. Google Research63

    Google Research:思考以檢索:推理如何解鎖大語言模型中的引數化知識

    Google Research 探討了大語言模型中推理如何解鎖引數化知識,通過控制實驗揭示了計算緩衝區效應和事實啟動兩大機制。研究表明,即使面對簡單的單跳問題,啟用推理也能幫助模型召回原本難以觸及的正確答案。不過,推理階段產生的中途幻覺會顯著降低最終答案的正確率。

6月19日週五
6月15日週一
  1. LMSYS Org Blog75

    DFlash 和 SGLang Spec V2 加快 Qwen 3.5 397B-A17B 推論

    大型語言模型一次只生成一個 token,推論速度可能因此受限;一般草稿模型也要逐個產生候選內容。Z Lab、Modal 和 SGLang 團隊推出 DFlash 草稿模型,並將它整合進 SGLang 的 Spec V2 引擎。DFlash 一次平行草擬一整段內容,還會把目標模型整理好的上下文資訊送進草稿模型,幫助它提出較容易被接受的內容。在 Qwen 3.5 397B-A17B、HumanEval、請求並行數為 1 的測試中,DFlash 的吞吐量超過基準模型 4.3 倍,也比原生 MTP 高 1.5 倍。

    推薦理由:文章比較 DFlash 與 EAGLE-3 的草稿速度、接受長度和端到端速度,並說明 KV 注入與平行草稿各自帶來的影響。

6月9日週二
  1. Google DeepMind86

    推出 Gemma 4 12B:無編碼器統一多模態模型

    DeepMind 推出 Gemma 4 12B,這是一款無編碼器的統一多模態模型,能夠直接在配備 16GB VRAM 的筆記本上執行。它在保持與 26B MoE 近似的推理效能的同時,顯著降低了記憶體佔用,並首次支援原生音訊輸入。

    推薦理由:Gemma 4 12B 以無編碼器的多模態架構實現低記憶體、強推理,適配本地 16GB VRAM 機器,讀者可據此評估在邊緣裝置上的部署可能。

6月5日週五
  1. LMSYS Org Blog56

    Miles 如何讓 AI 助理訓練時保留推論用過的每個 token

    AI 助理在多輪任務中會反覆呼叫模型和工具;如果訓練時重新整理對話,模型實際看過的內容可能被改掉。Miles 用 Token-In-Token-Out(TITO)原則,讓每一輪只把新內容接到原有 token 序列後面,並檢查它是否和完整對話重新產生的內容相符。文章舉例說明,文字轉回 token 時可能變成不同切法,聊天格式也可能刪掉先前的推理,或改變工具呼叫的空格。這些差異會讓訓練時的上下文和模型生成時不一致;Miles 也為不同模型處理格式邊界的差異,並列出目前支援的模型。

6月4日週四
  1. LMSYS Org Blog74

    NVIDIA Nemotron 3 Ultra 開放下載,SGLang 和 Miles 同步支援

    AI 助理要長時間分步完成工作,得能持續推理、使用工具,也要讀懂大量資料。NVIDIA 推出 Nemotron 3 Ultra,並宣佈 SGLang 和 Miles 從首日就支援:開發者可用 SGLang 執行模型,也能用 Miles 進行強化學習訓練。模型有 550B 個引數、最多 1M tokens 的上下文視窗,提供 BF16 和 NVFP4 版本。團隊也在 128 張 H200 GPU 上跑過訓練流程;這些是初步檢查,並非已收斂的訓練結果。

    推薦理由:Nemotron 3 Ultra 同時提供模型推論與後訓練支援,文中也交代長時間多步任務的設計,以及 128 張 H200 GPU 的訓練初步檢查結果。

5月22日週五
  1. Mistral AI87

    Mistral AI 釋出 Mistral Medium 3.5 與 Vibe 雲端非同步AI 助理

    Mistral AI 推出 128B 開源旗艦模型 Mistral Medium 3.5,具備 256k 上下文視窗、可配置推理強度以及從頭訓練的視覺編碼器,並在 SWE-Bench Verified 上取得 77.6% 的成績。

    推薦理由:Mistral Medium 3.5 的釋出和雲端非同步AI 助理能力的上線,展示瞭如何通過長上下文與多工具呼叫降低開發者的任務阻塞成本。

5月19日週二
4月29日週三
4月22日週三
  1. Google Research64

    ReasoningBank:使AI 助理能夠從經驗中學習

    Google Research 推出了 ReasoningBank AI 助理記憶框架,通過從成功和失敗經驗中提取結構化推理模式來實現測試期自我進化。該方法通過記憶感知測試期擴充套件(MaTTS)機制,在網頁瀏覽和軟體工程基準測試中顯著提升了AI 助理的成功率和執行效率。

4月20日週一
  1. Berkeley AI Research66

    GRASP:提升狀態、加入噪聲與梯度重塑實現長時序規劃

    GRASP 是一種新的梯度規劃器,針對學習到的世界模型實現長時序規劃。它通過將軌跡提升到虛擬狀態實現並行最佳化、在狀態迭代中加入噪聲以增強探索、並重塑梯度以避免脆弱的狀態輸入梯度,從而顯著提升規劃魯棒性和速度。實驗顯示在 Push‑T 任務中,GRASP 在更長時間步上取得更高成功率且耗時更短。詳情見論文 https://arxiv.org/abs/2602.00475。

4月18日週六
  1. Embrace The Red (AI Security)77

    Claude Opus 4.7 被 ChatGPT 生成對抗影像成功誘導記憶工具

    Claude Opus 4.7 被 ChatGPT 生成的對抗影像成功誘導執行記憶工具,將偽造的個人資訊寫入未來對話。 - 攻擊方式:利用 ChatGPT 產生含暗示文字的影像,誘導 Opus 4.7 解析並執行 memory_user_edits。

    推薦理由:本研究揭示 Claude Opus 4.7 在面對 ChatGPT 生成的對抗影像時仍能被誘導執行記憶工具,提示在升級模型時仍需加強對抗性測試。

4月16日週四
  1. Google Research62

    Google Research 推出 Simula:基於第一性原理的推理驅動合成數據集生成與評估框架

    Google Research 介紹了 Simula 框架,這是一種採用第一性原理構建整個合成數據集的種子無關且具身智慧的方法。該框架通過全域性多元化、區域性多元化、複雜化和質量檢查四個可控軸來分解生成過程,並在多個領域評估中展示了最佳化資料屬性對下游效能的提升。

4月13日週一
  1. Google DeepMind75

    Gemini Robotics-ER 1.6:通過增強具身推理驅動真實世界機器人任務

    Google DeepMind 推出了 Gemini Robotics-ER 1.6,這是其專為機器人設計的最新模型,提升了空間推理、多視角理解和儀表讀取能力。該版本在安全性和物理約束遵守方面也有顯著改進,並已通過 Gemini API 和 Google AI Studio 對開發者開放。

    推薦理由:Gemini Robotics-ER 1.6 通過增強空間推理和多視角理解,顯著提升機器人在真實環境中的自主決策能力,並首次實現儀表讀取功能,為工業設施監測提供更高精度。該模型在安全性和物理約束遵守方面也表現出顯著改進,幫助機器人更安全地執行任務。

4月3日週五
  1. Google DeepMind69

    Gemma 4 釋出:最強開源模型

    Google DeepMind 推出了 Gemma 4,四種尺寸(E2B、E4B、26B MoE、31B Dense)支援多模態、長上下文(128K–256K)和 140+ 語言,具備高階推理、函式呼叫和程式碼生成能力,並以 Apache 2.0 許可免費開放,適用於從移動端到雲端的多場景部署。

3月28日週六
3月17日週二
  1. Mistral AI84

    釋出 Mistral Small 4

    Mistral AI 釋出了 Mistral Small 4,這是一款統一推理、多模態與編碼功能的模型,採用 119B 引數、256k 上下文視窗,支援可配置推理強度,提供 40% 的延遲降低和 3 倍的吞吐量提升。該模型採用 Apache 2.0 許可,支援 vLLM、llama.cpp、SGLang 等開源框架,並已加入 NVIDIA Nemotron 聯盟。

    推薦理由:Mistral Small 4 將推理、多模態與編碼功能統一,提供可配置推理強度和高效推理,幫助使用者在單一模型中完成多種任務。

3月12日週四
2月7日週六
  1. OpenAI Alignment Research Blog37

    發現實際使用中的未知 AI 失調

    summary_zh: OpenAI 研究團隊提出一種利用內部推理模型(AI 判斷者)分析實際對話,檢測並診斷 AI 失調的簡單方法。 - 檢測方式:AI 判斷者偵測歷史生產對話中的情緒惡化,並離線推論是否有失調行為。

12月3日週三
  1. Mistral AI83

    Mistral AI 釋出 Mistral 3 模型系列

    Mistral AI 釋出新一代 Mistral 3 模型系列,包含 14B、8B 和 3B 的 Ministral 3 端側稠密模型,以及採用稀疏 MoE 架構、啟用引數 41B 總引數 675B 的旗艦模型 Mistral Large 3。所有模型均採用 Apache 2.0 許可證開源,支援多模態與多語言能力,推理版本也將很快推出。

    推薦理由:原文釋出了包含稠密小模型與 MoE 旗艦大模型的全新模型系列,並全部採用 Apache 2.0 許可證開源,開發者和企業可直接藉此在多端與雲端部署前沿智慧能力。

6月10日週二
1月30日週四