SGLang v0.5.16 釋出 DSpark 及 Inkling 多模態支援
v0.5.16
重點導讀
SGLang v0.5.16 釋出 DSpark 及 Inkling 多模態支援,並最佳化多項推理效能與模型管理。
- DSpark:自信度驅動的 speculative decoding,單位 5 accept length 在 DeepSeek‑V4‑Pro 上達 383.7 tok/s,TP8 on B300 5.0 tok/s。
推薦理由
此版本新增 DSpark 及 Inkling 支援,可提升推理效能與多模態擴充性,對開發者最佳化部署流程有實際幫助。
信源出處github.com
v0.5.16
本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。
來源: SGLang Releases (github.com)
開啟原文