跳到正文

#評測/基準

RSS
今日 0 則
8月5日週三
  1. LMSYS Org Blog52

    Ascend Team 說明如何提升 GLM-Image 在 SGL-Diffusion 的執行效率

    GLM-Image 先用 AR 產生文字提示的語意資訊,再由 DiT 把它逐步轉成圖片;兩個階段需要的硬體配置不同,放在同一個工作流程裡會互相牽制。Ascend Team 把 AR 改由 SRT 獨立執行,並讓多筆請求一起處理;之後又把 AR 和 DiT 分開部署,讓一臺 AR 伺服器把工作分給多個各自處理單張圖片的 DiT。文中測試顯示,16 張 NPU 的設定下,分開部署後平均生成時間從 90 秒降到 37 秒,也能同時處理更多圖片。

7月29日週三
  1. LMSYS Org Blog70

    Miles 如何用 MXFP8 和 NVFP4 加速 Blackwell 上的強化學習

    強化學習要一邊讓模型作答、一邊更新模型;如果訓練和作答時使用的精度不同,兩邊就可能對不上。LMSYS 團隊在 Miles 加入兩種 Blackwell 低精度做法:MXFP8 用在更多訓練與推論步驟,NVFP4 則用在 MoE 專家層,並為每個 token 分別計算資料尺度,讓訓練和推論用同一套設定。在 Qwen3-30B-A3B、8 張 B200 的測試中,五種低精度設定的獎勵曲線都接近 BF16,MXFP8 和 NVFP4 也縮短了推論時間。這是配方消融測試,不能當成完整調校後的效能比較。

    推薦理由:這組消融比較顯示,在 Qwen3-30B-A3B 的 8 張 B200 設定中,低精度訓練的獎勵曲線接近 BF16,也能縮短推論時間。

7月14日週二
  1. LMSYS Org Blog60

    SGLang 如何讓 GLM-5.2 在 8 張 B300 上達到每秒 500 多個 token

    長對話會讓 AI 助理每次回覆都得處理大量舊內容,降低互動速度。SGLang 團隊調整 GLM-5.2 的推論流程,包括讓 GPU 工作彼此接上、重用索引結果,並合併部分運算步驟,減少等待和多餘工作。在 OpenHands 多輪程式開發測試中,GLM-5.2 每輪約有 80K token 的輸入;團隊表示,8 張 B300 上每秒可處理 500 多個輸出 token,單人互動速度比最初版本提升 18% 至 34%。這些數字來自文章設定的硬體與工作負載,其他使用情境的表現可能不同。

    推薦理由:文章拆解 SGLang 如何從排程、索引器到矩陣乘法逐步降低推論開銷,並以不同硬體與工作負載的實測呈現速度變化。

6月17日週三
  1. LMSYS Org Blog59

    SGLang-JAX 加速 Ling-2.6-1T 在 TPU 上的運作,MoE 預填延遲減半

    大型 AI 模型在 TPU 上運作時,常要花不少時間搬移資料,讓晶片等不到運算所需的內容。LMSYS 團隊為 SGLang-JAX 製作新的 MoE 核心,把資料搬移和模型運算排在一起進行,讓 Ling-2.6-1T 的 MoE 預填延遲從 5.16 毫秒降到 2.42 毫秒;在相同測試中,16 張 TPU v7x 的輸出速度是 16 張 H200 的 1.29 到 1.77 倍。不過,整體預填速度只提升約 25%,因為 GLA 預填目前仍是主要瓶頸。

4月1日週三