跳到正文
LMSYS Org Blog(lmsys.org)· Zhangheng Huang, Shunkang Zhang, Shangming Cai, Yanbo Yang, Ke Bao, Chao Shi, Zhiqiang Xie, Shuwen Wang, Tingwei Huang, Zhiyang Huang, Ishan Dhanani·· 21 天前精選品質評分79

SGLang 如何用 HiCache 在多種部署配置中重用模型快取

HiCache Across Multi-Parallelism and Distributed Serving

重點導讀

長對話會反覆送出相同的前文,模型若每次重算或重新傳送資料,使用者就得等更久。

  • 這篇文章說明 HiCache 如何把可重用的模型快取放在 GPU、主機記憶體和外部儲存,並讓不同運算階段和多臺機器在同一個字首上做出一致決定。
  • 以 GLM-5.2-FP8 的多輪對話測試來看,解碼端也重用 GPU 與主機快取後,平均首次回應時間降低 25.4%,中位數降低 60.3%,輸出速度增加 2.9%。
  • 文章也說明,資料分散存放和非同步傳輸會增加協調難度,快取資料必須準備妥當才能省下計算與傳輸時間。

AI 伴隨問答

自備 Key 深度分析

針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:

推薦理由

文章拆解 HiCache 在多種平行配置與分離式服務中的快取協調方式,並用實際服務資料呈現字首重用對回應等待時間的影響。

信源出處lmsys.org

HiCache Across Multi-Parallelism and Distributed Serving

本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。

開啟原文
來源: LMSYS Org Blog (lmsys.org)
開啟原文

讀者討論

理性交流 · 即時討論