跳到正文
LMSYS Org Blog(lmsys.org)· Ant Ling Infra Team (Ant Group), Alibaba, SGLang Team·· 2026-08-21精選品質評分83

SGLang 推出 Weight Cache Daemon,讓模型服務更快重新啟動

Fast Engine Recovery: Sub-Second Engine Restart for SGLang via Weight Cache Daemon

重點導讀

大型模型服務重新啟動時,光是從硬碟載入權重就可能要等好幾分鐘。

  • SGLang 的 Weight Cache Daemon 會把處理好的模型權重留在 GPU 記憶體裡。
  • 引擎重啟時,可直接共用這些資料,省去重新讀取和處理權重的時間。以 Ling-2.6-1T FP8 為例,權過載入時間從約 495 秒降到約 0.63 秒,完整啟動時間則從 8.8 分鐘降到 0.528 分鐘。這項功能目前已驗證未量化與區塊式 FP8,其他量化方式仍需加入支援並完成驗證。

AI 伴隨問答

自備 Key 深度分析

針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:

推薦理由

原文以 Ling-2.6-1T FP8 的實測比較,說明共享 GPU 權重如何縮短 SGLang 重啟時間,也交代目前支援的量化方式有限。

信源出處lmsys.org

Fast Engine Recovery: Sub-Second Engine Restart for SGLang via Weight Cache Daemon

本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。

開啟原文
來源: LMSYS Org Blog (lmsys.org)
開啟原文

讀者討論

理性交流 · 即時討論