跳到正文
LMSYS Org Blog(lmsys.org)· SGLang Team·· 28 天前精選品質評分82

SGLang 揭露 KVCache 隔離漏洞,說明修補方式與受影響部署

SGLang security update: improving request isolation

重點導讀

SGLang 說明一種可能讓不同使用者的請求資料混在一起的漏洞:在分離式 Prefill/Decode 部署中,請求中止後,已送出的 KVCache 傳輸仍可能寫入已分配給另一個請求的記憶體槽位。

  • Cloudflare 回報,Workers AI 上的 GLM-5.3 部署在 8 月 27 日至 9 月 9 日受影響。
  • 調查發現請求可能讀到其他使用者工作階段的內容。SGLang 團隊在實際硬體重現了資料外洩,也加入延後釋放槽位的修補,等傳輸完成確認後再回收。使用 Mooncake 或 NIXL 的部署可升級至 v0.5.21。
  • MORI 支援與其他修正則需 v0.5.22。

AI 伴隨問答

自備 Key 深度分析

針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:

推薦理由

文章拆解非同步 KVCache 傳輸如何在請求中止後覆寫其他請求資料,並說明延後回收記憶體槽位的防護方式。

信源出處lmsys.org

SGLang security update: improving request isolation

本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。

開啟原文
來源: LMSYS Org Blog (lmsys.org)
開啟原文

讀者討論

理性交流 · 即時討論