SGLang v0.5.20 發布
v0.5.20
重點導讀
SGLang 正式發布 v0.5.20 版本,匯集來自 237 位貢獻者的 713 個 Pull Request,帶來全面的模型推理效能最佳化與新硬體支援。
推薦理由
新版本帶來了硬體加速與多模態推理的重大效能升級,開發者可據此評估是否升級以提升大規模模型部署的吞吐量。
信源出處github.com
v0.5.20
本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。
來源: SGLang Releases (github.com)
開啟原文