跳到正文
vLLM Releases(github.com)· khluu·· 13 天前精選品質評分86

vLLM v0.32.0 正式發布:多項推理最佳化與多模態功能升級

v0.32.0

重點導讀
  • vLLM v0.32.0 正式發布,包含 814 次提交與 363 位貢獻者的新功能。 - 新增 /v1/systemone 端點,可處理結構化決策與分數查詢,並支援 Cloudflare/clef-omni、LiquidAI/d1-3B、DiffusionGemma 等模型。
推薦理由

vLLM v0.32.0 引入多項高效推理最佳化與多模態支援,使用者可直接提升模型部署效能與功能擴充。

信源出處github.com

v0.32.0

本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。

開啟原文
來源: vLLM Releases (github.com)
開啟原文