Ant International 團隊如何加速 DeepSeek-V4.1-Flash 在 H20-3e 上的推論
Optimizing DeepSeek-V4.1-Flash PD & Colocate Serving on H20-3e
重點導讀
DeepSeek-V4.1-Flash 在 H20-3e 上處理長提示時,等待第一個回答的時間佔了很大一部分。
- Ant International 團隊調整分開處理提示與生成回答的部署方式,也改進了多個運算步驟。
- 在 8 張 GPU 的測試中,平均完成時間從 13.63 秒降到 4.70 秒,每秒輸出量從 847 個 token 增至 2,465 個。團隊也測試了 4 張 GPU 同機處理的配置,平均完成時間從 18.62 秒降到 7.96 秒。這些結果顯示,不同部署方式的速度和吞吐量各有差異,適合用來比較實際工作負載下的取捨。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
推薦理由
這組測試比較 DeepSeek-V4.1-Flash 在 H20-3e 上的分拆與同機部署,呈現延遲和吞吐量如何隨配置改變。
信源出處lmsys.org
Optimizing DeepSeek-V4.1-Flash PD & Colocate Serving on H20-3e
本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。
來源: LMSYS Org Blog (lmsys.org)
開啟原文