跳到正文
LMSYS Org Blog(lmsys.org)· Siyuan Chen, Bingjia Wang, Bofeng Jiang, Yongxu Ai, and Kaixin Shen — Ant International AI Infra Team·· 4 天前精選品質評分74

Ant International 團隊如何加速 DeepSeek-V4.1-Flash 在 H20-3e 上的推論

Optimizing DeepSeek-V4.1-Flash PD & Colocate Serving on H20-3e

重點導讀

DeepSeek-V4.1-Flash 在 H20-3e 上處理長提示時,等待第一個回答的時間佔了很大一部分。

  • Ant International 團隊調整分開處理提示與生成回答的部署方式,也改進了多個運算步驟。
  • 在 8 張 GPU 的測試中,平均完成時間從 13.63 秒降到 4.70 秒,每秒輸出量從 847 個 token 增至 2,465 個。團隊也測試了 4 張 GPU 同機處理的配置,平均完成時間從 18.62 秒降到 7.96 秒。這些結果顯示,不同部署方式的速度和吞吐量各有差異,適合用來比較實際工作負載下的取捨。

AI 伴隨問答

自備 Key 深度分析

針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:

推薦理由

這組測試比較 DeepSeek-V4.1-Flash 在 H20-3e 上的分拆與同機部署,呈現延遲和吞吐量如何隨配置改變。

信源出處lmsys.org

Optimizing DeepSeek-V4.1-Flash PD & Colocate Serving on H20-3e

本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。

開啟原文
來源: LMSYS Org Blog (lmsys.org)
開啟原文

讀者討論

理性交流 · 即時討論