跳到正文
LMSYS Org Blog(lmsys.org)· Zhangheng Huang, Ke Bao, Yi Zhang, Jialin Ouyang, Sicheng Pan·· 2026-08-11品質評分59

SGLang 提出 Unified Radix Cache,讓混合模型共用一棵快取樹

Unified Radix Cache: One Tree for Hybrid Model Prefix Caching

重點導讀

混合模型會用不同規則重用對話資料,硬塞進同一種快取邊界,可能浪費可重用資料,也可能用到不該重用的內容。

  • SGLang 的 Unified Radix Cache 用一棵樹記錄共同的文字字首,再由不同元件各自判斷哪些資料可以重用,也能讓快取資料放在 GPU、主機記憶體或外部記憶體層。多輪對話測試中,外部記憶體層讓 DeepSeek-V4-Flash 的快取命中率接近 98%,Inkling-Small 達到 96.8%。
  • 另一組程式修復測試中,新的快取設定比一般 LRU 設定少了 2.9% 到 16.6% 的首字延遲。不過,這些比較同時改了快取實作與淘汰方式,不能單獨歸因於工作階段管理。

AI 伴隨問答

自備 Key 深度分析

針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:

信源出處lmsys.org

Unified Radix Cache: One Tree for Hybrid Model Prefix Caching

本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。

開啟原文
來源: LMSYS Org Blog (lmsys.org)
開啟原文

讀者討論

理性交流 · 即時討論