跳到正文
LMSYS Org Blog(lmsys.org)· Bingjia Wang, Siyuan Chen, Bofeng Jiang, Jincong Chen, Yongxu Ai and Kaixin Shen — Ant International AI Infra Team·· 13 天前精選品質評分69

DeepSeek-V4.1-Flash 如何在 H200 上加快分離式 Prefill 與 Decode

Optimizing DeepSeek-V4.1 on H200 with SGLang PD Disaggregation

重點導讀

處理長提示詞時,DeepSeek-V4.1-Flash 的 Prefill 會排隊,等待時間也拉長。

  • Ant International AI Infra Team 在 8 張 H200 上用 SGLang 分開處理提示詞和逐字生成,並調整索引器計分、Prefill 分塊與 MoE 資料傳送,也讓有限重播能搭配 CP 和 DSpark。合併設定的 8 個測試案例中,E2E 延遲降低約 15%–64%,但每個輸出 token 的時間增加 3%–52%。
  • GSM8K 準確率則從 96.74% 降到 95.38%。文章提醒,整體結果包含多項改動,不能把改善歸功於單一調整。
  • 有限重播也會省略部分區域性運算,可能影響答案品質。

AI 伴隨問答

自備 Key 深度分析

針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:

推薦理由

文中把各項加速分開測量,也列出合併設定的延遲與 GSM8K 變化,呈現輸入處理變快和逐字生成變慢之間的取捨。

信源出處lmsys.org

Optimizing DeepSeek-V4.1 on H200 with SGLang PD Disaggregation

本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。

開啟原文
來源: LMSYS Org Blog (lmsys.org)
開啟原文

讀者討論

理性交流 · 即時討論