DeepSeek-V4.1-Flash 如何在 H200 上加快分離式 Prefill 與 Decode
Optimizing DeepSeek-V4.1 on H200 with SGLang PD Disaggregation
重點導讀
處理長提示詞時,DeepSeek-V4.1-Flash 的 Prefill 會排隊,等待時間也拉長。
- Ant International AI Infra Team 在 8 張 H200 上用 SGLang 分開處理提示詞和逐字生成,並調整索引器計分、Prefill 分塊與 MoE 資料傳送,也讓有限重播能搭配 CP 和 DSpark。合併設定的 8 個測試案例中,E2E 延遲降低約 15%–64%,但每個輸出 token 的時間增加 3%–52%。
- GSM8K 準確率則從 96.74% 降到 95.38%。文章提醒,整體結果包含多項改動,不能把改善歸功於單一調整。
- 有限重播也會省略部分區域性運算,可能影響答案品質。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
推薦理由
文中把各項加速分開測量,也列出合併設定的延遲與 GSM8K 變化,呈現輸入處理變快和逐字生成變慢之間的取捨。
信源出處lmsys.org
Optimizing DeepSeek-V4.1 on H200 with SGLang PD Disaggregation
本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。
來源: LMSYS Org Blog (lmsys.org)
開啟原文