LoopVQ 子位元 KV cache 量化讓服務吞吐量最高提升 6.1 倍
Sub‑bit KV cache quantization doubles throughput
重點導讀
LoopVQ 將迴圈式 Transformer 的 KV cache 壓縮至每個元素低於 1 bit,並整合至 SGLang serving stack;無須重新訓練模型,即可降低長上下文解碼延遲並提升服務吞吐量。
- 效能:在 0.5 bits per element 下,長上下文解碼延遲減半;在 32K tokens 時,延遲約為 BF16 的一半。相較 BF16 基準,1.4B 與 2.6B Ouro 模型的尖峰服務吞吐量最高分別提升 4.3 倍與 6.1 倍;常見 batch size 下,整體每秒請求量約提升 2 倍。
- 品質與適用範圍:作者表示,推理與檢索效能損失極小,在 chain-of-thought 基準上可達到全精度結果。評估主要使用 Ouro 與 Huginn 模型;套用至其他架構可能需要專屬校準。0.25-bit 設定需搭配 TaSQ,才能保留「大部分」BF16 準確度。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
信源出處dev.to
Sub‑bit KV cache quantization doubles throughput
本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。
來源: Dev.to Top Tech (dev.to)
開啟原文