重點導讀
vLLM 推出 v0.33.0,包含 927 次提交與 389 位貢獻者,並加入多款模型及推論相關更新。
- 新模型:Reflection Beam-1.0、Step-5 Preview、Nemotron Parse 3.5、MiniCPM-OCR 1.0。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
推薦理由
此版本同時涵蓋模型支援、推測解碼與硬體效能資料,可從中掌握 vLLM 的更新範圍及不同部署環境的變化。
vLLM@vllm_project
·19 天前
vLLM v0.33.0 is out! 🚀
927 commits · 389 contributors · 122 first-timers
🤖 New models: Reflection Beam-1.0, Step-5 Preview, Nemotron Parse 3.5, MiniCPM-OCR 1.0
🔥 PyTorch 2.14 — CUDA 13.0-only wheels, libtorch ABI-stable
🎲 Spec decoding: XPress refiner, FLy lossy verify (1.04–1.31x), DSpark 1373→3390 tok/s on GB300
⚡ NVIDIA decode: 1.5–2x latency decode on GB300, FA4 sparse MLA, 39–48% lower TTFT
🚀 New AWS EFA image + shorter vllm/vllm name
🐧 ROCm 10.0 default, MonoKernel 2.32x P50
Full notes ➡️ https://t.co/nB301yri6u
推文來源 · X (Twitter)在 X 參與討論