跳到正文
SGLang Releases(github.com)· Qiaolin-Yu·· 2026-07-25精選品質評分64

SGLang v0.5.16 釋出 DSpark 及 Inkling 多模態支援

v0.5.16

重點導讀

SGLang v0.5.16 釋出 DSpark 及 Inkling 多模態支援,並最佳化多項推理效能與模型管理。

  • DSpark:自信度驅動的 speculative decoding,單位 5 accept length 在 DeepSeek‑V4‑Pro 上達 383.7 tok/s,TP8 on B300 5.0 tok/s。
推薦理由

此版本新增 DSpark 及 Inkling 支援,可提升推理效能與多模態擴充性,對開發者最佳化部署流程有實際幫助。

信源出處github.com

v0.5.16

本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。

開啟原文
來源: SGLang Releases (github.com)
開啟原文