跳到正文
Dev.to Top Tech(dev.to)· Papers Mache·· 10 天前品質評分43

LoopVQ 子位元 KV cache 量化讓服務吞吐量最高提升 6.1 倍

Sub‑bit KV cache quantization doubles throughput

重點導讀

LoopVQ 將迴圈式 Transformer 的 KV cache 壓縮至每個元素低於 1 bit,並整合至 SGLang serving stack;無須重新訓練模型,即可降低長上下文解碼延遲並提升服務吞吐量。

  • 效能:在 0.5 bits per element 下,長上下文解碼延遲減半;在 32K tokens 時,延遲約為 BF16 的一半。相較 BF16 基準,1.4B 與 2.6B Ouro 模型的尖峰服務吞吐量最高分別提升 4.3 倍與 6.1 倍;常見 batch size 下,整體每秒請求量約提升 2 倍。
  • 品質與適用範圍:作者表示,推理與檢索效能損失極小,在 chain-of-thought 基準上可達到全精度結果。評估主要使用 Ouro 與 Huginn 模型;套用至其他架構可能需要專屬校準。0.25-bit 設定需搭配 TaSQ,才能保留「大部分」BF16 準確度。

AI 伴隨問答

自備 Key 深度分析

針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:

信源出處dev.to

Sub‑bit KV cache quantization doubles throughput

本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。

開啟原文
來源: Dev.to Top Tech (dev.to)
開啟原文

讀者討論

理性交流 · 即時討論