SGLang 推出 Weight Cache Daemon,讓模型服務更快重新啟動
Fast Engine Recovery: Sub-Second Engine Restart for SGLang via Weight Cache Daemon
重點導讀
大型模型服務重新啟動時,光是從硬碟載入權重就可能要等好幾分鐘。
- SGLang 的 Weight Cache Daemon 會把處理好的模型權重留在 GPU 記憶體裡。
- 引擎重啟時,可直接共用這些資料,省去重新讀取和處理權重的時間。以 Ling-2.6-1T FP8 為例,權過載入時間從約 495 秒降到約 0.63 秒,完整啟動時間則從 8.8 分鐘降到 0.528 分鐘。這項功能目前已驗證未量化與區塊式 FP8,其他量化方式仍需加入支援並完成驗證。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
推薦理由
原文以 Ling-2.6-1T FP8 的實測比較,說明共享 GPU 權重如何縮短 SGLang 重啟時間,也交代目前支援的量化方式有限。
信源出處lmsys.org
Fast Engine Recovery: Sub-Second Engine Restart for SGLang via Weight Cache Daemon
本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。
來源: LMSYS Org Blog (lmsys.org)
開啟原文