跳到正文
LMSYS Org Blog(lmsys.org)· Netpreme Team·· 18 天前精選品質評分62

Netpreme X-Mem™ 整合 SGLang HiSparse,加快大型語言模型讀取外接 KV 快取

XM-Sparse: Pushing the Throughput Frontier of Sparse Attention with Netpreme X-Mem™

重點導讀

大型語言模型把 KV 快取放在 GPU 外,容量雖然變大,讀取速度和可同時處理的請求數仍會受限。

  • Netpreme 將 X-Mem™ 整合進 SGLang HiSparse,讓 GPU 透過高速連線讀取外接快取。
  • 測試中,GLM-5.3 在 16K 上下文、每張 GPU 處理 192 個請求時,輸出延遲降低 49.25%(快取未命中率 20%)或 63.58%(40%)。在 16K 到 1M 上下文的測試裡,每張 GPU 的最高解碼吞吐量是使用主機 DRAM 的 2.09–3.04 倍。
  • 長上下文的提升也受惠於更大的記憶體容量,能同時處理更多請求。測試使用 X-Mem™ Pilot 虛擬機器,實際晶片之後才會供應。

AI 伴隨問答

自備 Key 深度分析

針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:

推薦理由

文章以 GLM-5.3 的測試比較外接記憶體的頻寬與容量如何影響解碼速度和同時處理的請求數,並指出小批次時差異不大。

信源出處lmsys.org

XM-Sparse: Pushing the Throughput Frontier of Sparse Attention with Netpreme X-Mem™

本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。

開啟原文
來源: LMSYS Org Blog (lmsys.org)
開啟原文

讀者討論

理性交流 · 即時討論