SGLang 揭露 KVCache 隔離漏洞,說明修補方式與受影響部署
SGLang security update: improving request isolation
重點導讀
SGLang 說明一種可能讓不同使用者的請求資料混在一起的漏洞:在分離式 Prefill/Decode 部署中,請求中止後,已送出的 KVCache 傳輸仍可能寫入已分配給另一個請求的記憶體槽位。
- Cloudflare 回報,Workers AI 上的 GLM-5.3 部署在 8 月 27 日至 9 月 9 日受影響。
- 調查發現請求可能讀到其他使用者工作階段的內容。SGLang 團隊在實際硬體重現了資料外洩,也加入延後釋放槽位的修補,等傳輸完成確認後再回收。使用 Mooncake 或 NIXL 的部署可升級至 v0.5.21。
- MORI 支援與其他修正則需 v0.5.22。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
推薦理由
文章拆解非同步 KVCache 傳輸如何在請求中止後覆寫其他請求資料,並說明延後回收記憶體槽位的防護方式。
信源出處lmsys.org
SGLang security update: improving request isolation
本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。
來源: LMSYS Org Blog (lmsys.org)
開啟原文