跳到正文
𝕏 vLLM(x.com)·· 4 天前精選品質評分68
重點導讀

vLLM v0.34.0 已發布,這次更新包含 1,061 次程式碼提交與 412 位貢獻者。

  • 新版加入 10 個模型,並預設啟用可擴充的 KV cache。
  • Model Runner V2 成為唯一的 GPU 執行器。專案也表示,在 4× GB200 上,Step5 NVFP4 解碼最高可快 1.95 倍。升級前可參考公告附上的升級說明。

AI 伴隨問答

自備 Key 深度分析

針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:

推薦理由

這次更新同時加入 10 個模型並調整 GPU 執行方式,還列出 Step5 NVFP4 解碼的速度資料,可用來瞭解 vLLM 的更新範圍。

vLLM
vLLM@vllm_project
·4 天前
𝕏

vLLM v0.34.0 is live! 🚀
1,061 commits · 412 contributors
🤖 10 new models
🗄️ Extensible KV cache on by default
🏃 Model Runner V2 is now the only GPU runner
⚡ Up to 1.95× faster Step5 NVFP4 decode on 4× GB200

⚠️ Upgrade notes
https://t.co/oDO3owqDZa https://t.co/1QySAluJFz

推文來源 · X (Twitter)在 X 參與討論
來源: vLLM (x.com)
在 X 查看推文

讀者討論

理性交流 · 即時討論