SGLang 和 Miles 加入 DeepSeek-V4.1 首日支援
SGLang and Miles Add Day-0 Support for DeepSeek-V4.1
重點導讀
部署 DeepSeek-V4.1 時,龐大的記憶體需求和複雜的運算流程會佔用硬體資源。
- SGLang 和 Miles 加入支援,讓 Engram 記憶表可放到主機記憶體,釋出 GPU 空間。
- 也能只重算部分內容,減少前置處理時間。在測試中,主機記憶體配置讓 KV cache 容量增加 36%。
- 有限重算則讓前置處理速度提升 1.56 倍或 1.37 倍。重算會帶來近似結果,部分功能也有限制,因此需要依工作需求選擇。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
推薦理由
文章比較 DeepSeek-V4.1 的記憶體配置與有限重算方法,並列出吞吐量、正確率和功能限制,方便評估部署取捨。
信源出處lmsys.org
SGLang and Miles Add Day-0 Support for DeepSeek-V4.1
本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。
來源: LMSYS Org Blog (lmsys.org)
開啟原文