跳到正文

#推理

RSS
今日 9 則
9月16日週三
  1. LMSYS Org Blog76

    SGLang、Qwen 和 NVIDIA 團隊評測 NVFP4 KV cache,提升長上下文推論速度

    對話越長,模型要保留的過往內容就越多,GPU 記憶體也更容易不夠用。SGLang、Qwen 和 NVIDIA 團隊把 KV cache 改用 NVFP4 儲存,讓每 16 個值連同區塊縮放資料約只佔 FP8 的 56%。在 Qwen3.8-27B 的測試中,長上下文解碼速度有所提升,但部分準確度測項略低;在 AgentX 高並行測試裡,NVFP4 的吞吐量也持續增加,而 FP8 表現下滑。這項支援仍屬實驗性,結果會隨模型和工作情境而變,部署前仍要按任務檢查準確度。

    推薦理由:NVFP4 把 KV cache 壓到約 FP8 的 56% 儲存量;文中比較了準確度、長上下文解碼速度與 AgentX 負載,呈現省記憶體和回答品質之間的取捨。

9月11日週五
9月8日週二
9月3日週四
9月2日週三
  1. Hugging Face Blog55

    BenchMIRT:大模型基準測試究竟在測量什麼?

    Allen Institute for AI 介紹了 BenchMIRT,這是一種用於在單個提示詞層面審計大模型基準測試的新方法。該方法將多維專案反應理論應用於 100 個大模型在 16 個基準測試中的表現,獨立恢復出安全與通用推理兩個主導維度,發現部分基準測試的實際測量結果與其宣稱的目標存在偏差。

9月1日週二
8月27日週四
8月26日週三
  1. LMSYS Org Blog78

    SGLang 在發布當天支援千問 Qwen3.8-Flash-Next

    長文本會增加模型處理內容和讀取記憶體的負擔。千問團隊推出 Qwen3.8-Flash-Next,SGLang 團隊也在發布當天加入支援。這個多模態模型使用混合注意力,只讓部分層仔細檢視長上下文,並用稀疏注意力挑出重要片段;另一種嵌入資料則放在主機記憶體,需要時再讀取,以減少 GPU 記憶體用量。文章也介紹 SGLang 對推論和記憶體管理所做的調整,並回報特定硬體設定下的速度與記憶體測試結果。

    推薦理由:文章整理 SGLang 如何在模型發布當天支援 Qwen3.8-Flash-Next,並說明長文本注意力、GPU 記憶體使用與推論速度的取捨。

8月25日週二
  1. Hugging Face Blog74

    Granite 4.2 LLM:構建過程

    Granite 4.2 是 IBM 推出的三種規模(3B、8B、30B)的稠密解碼器推理 LLM,基於 Granite‑4.1 預訓練模型,使用約 15T 令牌的五階段訓練策略,擴充套件上下文視窗至 512K,並通過監督微調和多階段強化學習(包括 agentic RL)實現鏈式思考、工具呼叫與低成本思考模式。

    推薦理由:Granite 4.2 通過多階段 RL 訓練實現強推理與工具呼叫能力,讀者可瞭解其技術細節與效能提升。

8月21日週五
  1. LMSYS Org Blog71

    SGLang 團隊拆解 Ling-3.0-flash 如何在 Blackwell GPU 上加快推論

    一次只處理一個請求時,GPU 和主機之間的等待很難被其他工作抵銷,使用者也得等更久。SGLang 團隊在 4 張 Blackwell GPU 上調校 Ling-3.0-flash,先減少主機等待,再合併 GPU 工作,並比較兩種猜測解碼方法。單次請求測試中,NEXTN 的平均每個輸出 token 等待時間從 3.33 ms 降到 1.53 ms;相同條件下,DSpark 降到 0.78 ms,輸出速度為 1120 tok/s。測試使用固定的隨機輸入,這些數字反映該測試設定下的結果。

    推薦理由:這篇拆解單次請求推論的延遲來源,並比較 NEXTN 與 DSpark 在相同機器和測試條件下的表現,呈現各項調校如何縮短等待時間。

8月20日週四
  1. LMSYS Org Blog56

    Mooncake 整合進 Miles,加快 AI 訓練資料交接

    大型語言模型做強化學習時,產生回答的工作和訓練工作分開執行,零碎的資料要在兩邊傳送,可能讓訓練端等資料。Mooncake 整合進 Miles 後,會把多種格式的資料整理成較大的資料塊傳送,再依原本的格式重建;使用者仍透過 Miles 原有的介面交接資料。這次測試中,Mooncake 的遠端 GET 比 Ray 快約 10–14 倍,PUT 快約 1.2–1.6 倍。這些數字只反映資料傳送與重建,不代表整體訓練速度也提高相同比例;作者也表示,接下來會用更多模型和工作負載驗證。

8月19日週三
8月18日週二
  1. LMSYS Org Blog79

    Miles v0.1 推出完整的前沿模型後訓練系統

    訓練 AI 助理使用工具時,每個任務花的時間不同,等待最慢的任務會讓 GPU 閒著。Miles v0.1 把模型生成、訓練和更新權重接成可同時進行的流程;每個任務在自己的隔離環境中執行,完成後就能接著訓練。文章也示範用 64 張 NVIDIA GB300 訓練 GLM-5.2,模型能在終端操作任務中持續學習。這套系統也支援低精度訓練、不同訓練後端和 AMD GPU,讓研究人員與開發者能依裝置和訓練方式調整流程。

    推薦理由:Miles 把生成、訓練與權重更新接成非同步流程,文中以 64 張 GB300 訓練 GLM-5.2 的實例,展示這套做法如何支援大型模型的終端操作訓練。

8月15日週六
8月14日週五
8月13日週四
8月12日週三
  1. Google Research63

    空書架還是丟了鑰匙?研究稱檢索是大語言模型引數化真實性的瓶頸

    Google Research 介紹了知識 profiling 行為框架和 WikiProfile 基準,用以衡量大語言模型的編碼與檢索能力。研究表明,在 Gemini 3 和 GPT-5 等前沿大模型中,95% 至 98% 的事實已被編碼,但模型仍無法直接檢索其中 26% 至 34% 的事實。這說明事實性錯誤主要源於知識無法可靠呼叫的檢索失敗,而非知識未被編碼的儲存缺失。

8月11日週二
  1. LMSYS Org Blog74

    NVIDIA 推出 Nemotron 3.5 Lightning,SGLang 同步支援

    要讓 AI 助理長時間處理大量工作,模型得兼顧速度、準確度和部署方式。NVIDIA 推出 Nemotron 3.5 Lightning,並由 SGLang 在 Day 0 提供支援;這個模型共有 30B 引數,每次運算啟用 3B,支援最多 1 million tokens 的上下文視窗,也能針對特定工作流程再訓練。它提供 MTP、DFlash 和 DSpark 三種推測解碼方式,先猜後驗證多個 token 來加快生成;原文稱,在相近準確度下,部分 AI 助理任務可快最多 30%。開發者也能控制每個步驟是否進行推理,依工作難度調整回應方式。

    推薦理由:Nemotron 3.5 Lightning 把模型蒸餾、推測解碼與 SGLang 支援放在同一篇說明,能看出部署時如何取捨生成速度與工作需求。

8月10日週一
8月9日週日
8月6日週四
8月5日週三
  1. LMSYS Org Blog52

    Ascend Team 說明如何提升 GLM-Image 在 SGL-Diffusion 的執行效率

    GLM-Image 先用 AR 產生文字提示的語意資訊,再由 DiT 把它逐步轉成圖片;兩個階段需要的硬體配置不同,放在同一個工作流程裡會互相牽制。Ascend Team 把 AR 改由 SRT 獨立執行,並讓多筆請求一起處理;之後又把 AR 和 DiT 分開部署,讓一臺 AR 伺服器把工作分給多個各自處理單張圖片的 DiT。文中測試顯示,16 張 NPU 的設定下,分開部署後平均生成時間從 90 秒降到 37 秒,也能同時處理更多圖片。

8月4日週二
  1. LMSYS Org Blog78

    SpecForge v0.3.0 拆開推論與訓練流程,支援更多推測解碼方法

    訓練推測解碼模型時,目標模型推論和草稿模型訓練會搶資源,也不容易分開調整。SpecForge v0.3.0 把兩種工作拆成可各自擴充的流程,並用同一套訓練工具支援 EAGLE3、DFlash、Domino 等多種方法;團隊也發布了涵蓋不同模型與方法的草稿模型。在 8×H20 測試中,3 臺 SGLang 伺服器搭配 5 個訓練工作者,訓練吞吐量比舊的集中式做法約高 10%。這讓團隊能依工作需求調整推論和訓練資源。

    推薦理由:SpecForge 把目標模型推論和草稿模型訓練拆開,並以 8×H20 測試呈現調整兩邊資源配置後的訓練吞吐量變化。

7月31日週五
7月29日週三
  1. LMSYS Org Blog70

    Miles 如何用 MXFP8 和 NVFP4 加速 Blackwell 上的強化學習

    強化學習要一邊讓模型作答、一邊更新模型;如果訓練和作答時使用的精度不同,兩邊就可能對不上。LMSYS 團隊在 Miles 加入兩種 Blackwell 低精度做法:MXFP8 用在更多訓練與推論步驟,NVFP4 則用在 MoE 專家層,並為每個 token 分別計算資料尺度,讓訓練和推論用同一套設定。在 Qwen3-30B-A3B、8 張 B200 的測試中,五種低精度設定的獎勵曲線都接近 BF16,MXFP8 和 NVFP4 也縮短了推論時間。這是配方消融測試,不能當成完整調校後的效能比較。

    推薦理由:這組消融比較顯示,在 Qwen3-30B-A3B 的 8 張 B200 設定中,低精度訓練的獎勵曲線接近 BF16,也能縮短推論時間。

7月27日週一
  1. vLLM Official Blog83

    vLLM 宣佈支援 **Kimi K3**:提供 Day-0 高效部署與效能最佳化指南

    vLLM 官方宣佈對 Kimi K3 模型提供 Day-0 完整支援,帶來混合快取、推測解碼與生產環境最佳化。 - 模型架構:Kimi K3 是一個 2.8 兆引數的混合專家(MoE)多模態模型,每個 token 啟用 16 個專家(共 896 個),支援 1M token 上下文視窗與原生視覺能力。

    推薦理由:vLLM 官方釋出針對 **Kimi K3** 的 Day-0 支援與完整效能最佳化方案,讀者可透過文內設定與架構解析評估其在大規模生產環境中的部署與加速策略。

  2. LMSYS Org Blog82

    SGLang 和 Miles 在 Kimi K3 發布當天提供推論與強化學習訓練支援

    Kimi K3 的混合架構讓伺服器得同時管理兩種記憶,一種會隨文字增加,另一種則固定大小並持續更新,原有做法不容易直接套用。SGLang 團隊與 Moonshot AI、NVIDIA 合作,讓 SGLang 支援 Kimi K3 推論,Miles 支援強化學習訓練。SGLang 加入共用記憶體池,讓兩種記憶按需求共用空間,也用重播輸入資料的方式減少暫存記憶體。文章也提供平行處理設定與訓練成績:AIME-2024 的答題率在 12 小時內從 43.3% 升到 76.7%。

    推薦理由:Kimi K3 同時採用兩種注意力方式,讓伺服器得分別管理固定狀態與逐字增加的記憶;文章說明 SGLang 如何處理這項難題。

7月23日週四
  1. Google Research70

    讓量子計算機從錯誤中學習

    Google Research 在其 Willow 超導處理器上演示了利用強化學習實現量子計算機持續校準的方法,顯著降低了邏輯錯誤率。實驗中,RL 訓練將錯誤率降低 3.5 倍,最終邏輯錯誤率低至每千個糾錯週期不到一次,並在數百量子位元的模擬中驗證了可擴充套件性。該方法將量子錯誤檢測事件作為主動學習訊號,展示了可持續計算的新範式。

7月18日週六
  1. Ahead of AI (Sebastian Raschka)62

    LLM 如何控制推理投入程度

    LLM 的推理投入程度可透過訓練與推論階段的不同設計控制,文章整理其與推理長度、成本及任務表現的關聯。 - 控制方式:包括以 SFT 混合不同推理模式、在 RLVR 中依投入程度調整 token 懲罰,以及在推論時透過提示詞、chat template 或 token budget 設定。

  2. LMSYS Org Blog65

    Miles 加入 OPD 訓練,讓學生模型學會更短的推理

    學生模型可以學會教師模型的回答方式,但訓練時如果只靠任務獎勵,不一定能教會它用更短的推理完成工作。LMSYS Org 為 Miles 加入 OPD,讓學生模型能只跟著教師模型學,也能把教師指引和任務獎勵一起用;新的稀疏評分流程只請教師模型評分各位置需要的候選 token,減少多餘資料的傳送與解析。在千問 Qwen3.5-35B-A3B 的自我蒸餾實驗中,任務獎勵設為零,學生模型的回答長度從約 18.6k tokens 降至多數約 5.5k–6.7k tokens,保留的 DAPO 表現也從 0.8457 升至 0.8945。這是初步驗證,其他模型和任務仍待測試。

    推薦理由:Miles 的稀疏評分流程減少教師模型不必要的資料傳送與解析,實驗也呈現縮短推理與維持任務表現的結果。

7月15日週三
  1. LMSYS Org Blog78

    SGLang 和 Miles 加入 Inkling 多模態模型首日支援

    新模型架構常讓推論和訓練工具得花時間才能跟上。SGLang 和 Miles 在 Inkling 推出時就加入支援,並為它的短卷積、相對位置注意力和共享專家設計調整執行方式。Inkling 最長可處理 1M 個 token;在 NVIDIA Blackwell GPU 上,SGLang 的輸入處理速度最高達每秒 71.7k 個 token,單一使用者生成速度最高為每秒 171.0 個 token。Miles 也支援文字與影像任務的強化學習訓練,並用路由重播等方法讓訓練和推論的計算保持一致。

    推薦理由:文章對照 Inkling 的注意力與 MoE 設計,說明 SGLang 如何調整推論流程,也呈現 Miles 如何讓訓練和推論使用一致的模型行為。

7月14日週二
  1. LMSYS Org Blog60

    SGLang 如何讓 GLM-5.2 在 8 張 B300 上達到每秒 500 多個 token

    長對話會讓 AI 助理每次回覆都得處理大量舊內容,降低互動速度。SGLang 團隊調整 GLM-5.2 的推論流程,包括讓 GPU 工作彼此接上、重用索引結果,並合併部分運算步驟,減少等待和多餘工作。在 OpenHands 多輪程式開發測試中,GLM-5.2 每輪約有 80K token 的輸入;團隊表示,8 張 B300 上每秒可處理 500 多個輸出 token,單人互動速度比最初版本提升 18% 至 34%。這些數字來自文章設定的硬體與工作負載,其他使用情境的表現可能不同。

    推薦理由:文章拆解 SGLang 如何從排程、索引器到矩陣乘法逐步降低推論開銷,並以不同硬體與工作負載的實測呈現速度變化。

7月13日週一
7月7日週二
7月6日週一
  1. LMSYS Org Blog74

    SGLang 整合 DSpark,依請求把握度調整推測解碼

    推測解碼能減少模型逐步產生文字的時間,但同時驗證太多候選文字,負載一高也會拖慢服務。SGLang 團隊把 DSpark 整合進服務引擎,讓系統依每筆請求的預測把握度,決定要驗證多少候選文字;較有把握的請求可用較短的驗證範圍,降低運算負擔。文章用 DeepSeek-V4 等模型展示測試結果,並說明如何讓不同請求在同一批次採用不同範圍。團隊也提醒,測試硬體和流量與論文不同,重點是呈現運作方式與趨勢,數字不應直接視為論文結果的重現。

    推薦理由:SGLang 團隊展示 DSpark 如何依各請求的預測把握度調整驗證長度,並比較不同負載下的吞吐量與延遲表現。

7月2日週四
  1. Mistral AI64

    Mistral AI 釋出 Leanstral 1.5 形式化推理模型

    Mistral AI 釋出 Leanstral 1.5,這是一款採用 Apache-2.0 許可證、擁有 119B 總引數和 6B 啟用引數的開源形式化驗證模型。該模型經過中訓練、監督微調與 CISPO 強化學習,在 miniF2F、PutnamBench 以及 FATE-H 和 FATE-X 等基準測試中取得顯著效能提升,並支援通過 Hugging Face 和免費 API 獲取。