重點導讀
vLLM v0.34.0 已發布,這次更新包含 1,061 次程式碼提交與 412 位貢獻者。
- 新版加入 10 個模型,並預設啟用可擴充的 KV cache。
- Model Runner V2 成為唯一的 GPU 執行器。專案也表示,在 4× GB200 上,Step5 NVFP4 解碼最高可快 1.95 倍。升級前可參考公告附上的升級說明。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
推薦理由
這次更新同時加入 10 個模型並調整 GPU 執行方式,還列出 Step5 NVFP4 解碼的速度資料,可用來瞭解 vLLM 的更新範圍。
vLLM@vllm_project
·4 天前
vLLM v0.34.0 is live! 🚀
1,061 commits · 412 contributors
🤖 10 new models
🗄️ Extensible KV cache on by default
🏃 Model Runner V2 is now the only GPU runner
⚡ Up to 1.95× faster Step5 NVFP4 decode on 4× GB200
⚠️ Upgrade notes
https://t.co/oDO3owqDZa https://t.co/1QySAluJFz
推文來源 · X (Twitter)在 X 參與討論