跳到正文
LMSYS Org Blog(lmsys.org)· SGLang, Qwen, and NVIDIA teams·· 2026-09-16精選品質評分76

SGLang、Qwen 和 NVIDIA 團隊評測 NVFP4 KV cache,提升長上下文推論速度

Accelerating Long-Context and Agentic Inference with NVFP4 KV Cache

重點導讀

對話越長,模型要保留的過往內容就越多,GPU 記憶體也更容易不夠用。

  • SGLang、Qwen 和 NVIDIA 團隊把 KV cache 改用 NVFP4 儲存,讓每 16 個值連同區塊縮放資料約只佔 FP8 的 56%。在 Qwen3.8-27B 的測試中,長上下文解碼速度有所提升,但部分準確度測項略低。
  • 在 AgentX 高並行測試裡,NVFP4 的吞吐量也持續增加,而 FP8 表現下滑。這項支援仍屬實驗性,結果會隨模型和工作情境而變,部署前仍要按任務檢查準確度。

AI 伴隨問答

自備 Key 深度分析

針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:

推薦理由

NVFP4 把 KV cache 壓到約 FP8 的 56% 儲存量;文中比較了準確度、長上下文解碼速度與 AgentX 負載,呈現省記憶體和回答品質之間的取捨。

信源出處lmsys.org

Accelerating Long-Context and Agentic Inference with NVFP4 KV Cache

本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。

開啟原文
來源: LMSYS Org Blog (lmsys.org)
開啟原文

讀者討論

理性交流 · 即時討論