vLLM 推出多層 KV 快取分層，提升 GPU 記憶體利用率與多使用者吞吐量

vLLM 於 2026 年 9 月 10 日發布的 Tiered KV Cache Offloading 方案，將長上下文模型的 KV 快取分層到主機記憶體、檔案系統、物件儲存與遠端節點，避免重複預填。