跳到正文
𝕏 vLLM(x.com)·· 19 天前精選品質評分66
重點導讀

vLLM 推出 v0.33.0,包含 927 次提交與 389 位貢獻者,並加入多款模型及推論相關更新。

  • 新模型:Reflection Beam-1.0、Step-5 Preview、Nemotron Parse 3.5、MiniCPM-OCR 1.0。

AI 伴隨問答

自備 Key 深度分析

針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:

推薦理由

此版本同時涵蓋模型支援、推測解碼與硬體效能資料,可從中掌握 vLLM 的更新範圍及不同部署環境的變化。

vLLM
vLLM@vllm_project
·19 天前
𝕏

vLLM v0.33.0 is out! 🚀

927 commits · 389 contributors · 122 first-timers

🤖 New models: Reflection Beam-1.0, Step-5 Preview, Nemotron Parse 3.5, MiniCPM-OCR 1.0
🔥 PyTorch 2.14 — CUDA 13.0-only wheels, libtorch ABI-stable
🎲 Spec decoding: XPress refiner, FLy lossy verify (1.04–1.31x), DSpark 1373→3390 tok/s on GB300
⚡ NVIDIA decode: 1.5–2x latency decode on GB300, FA4 sparse MLA, 39–48% lower TTFT
🚀 New AWS EFA image + shorter vllm/vllm name
🐧 ROCm 10.0 default, MonoKernel 2.32x P50

Full notes ➡️ https://t.co/nB301yri6u

推文來源 · X (Twitter)在 X 參與討論
來源: vLLM (x.com)
在 X 查看推文

讀者討論

理性交流 · 即時討論