跳到正文
vLLM Releases(github.com)· khluu·· 7 天前精選品質評分83

vLLM 推出 0.34.0,新增 10 種模型並調整快取與執行器

v0.34.0

重點導讀

更新推論服務工具時,新功能可能讓原本的設定失效,也會改變模型能使用的 GPU 記憶體。

  • vLLM 0.34.0 加入 10 種模型,並預設依暖機後實際空出的記憶體配置 KV cache。
  • 以 MiniMax-M3 在 H200 上為例,可容納的 token 從 433k 增至 672k,高並行時吞吐量也會提高,但部分模型每個 token 的生成延遲可能增加。這版也移除 Model Runner V1,只保留 V2,並把預設 block size 從 16 改為 64。升級前要檢查舊設定:例如通常不必再設定 gpu_memory_utilization,若要維持舊行為則可明確指定 block size 16。

AI 伴隨問答

自備 Key 深度分析

針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:

推薦理由

vLLM 0.34.0 同時調整 KV cache 預設與 GPU 執行器,並列出升級時可能打斷既有設定的變更,方便部署者評估更新影響。

信源出處github.com

v0.34.0

本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。

開啟原文
來源: vLLM Releases (github.com)
開啟原文

讀者討論

理性交流 · 即時討論