vLLM 立即支援 Reflection Beam 501B 大模型
Serving Reflection Beam on vLLM from Day 0
重點導讀
vLLM 立即支援 Reflection 的 Beam 501B 引數模型，並在 NVIDIA Blackwell 上完成全功能最佳化。
- 模型規格：501B 引數，52 層 MoE，23B 活躍引數/token。
推薦理由
vLLM 立即支援 Reflection Beam 501B 引數模型，並透過自動化 Agent 最佳化，達成 2.71 倍解碼速度與 1.87 倍預填速度，為大規模 MoE 推理提供實務參考。
信源出處vllm.ai
Serving Reflection Beam on vLLM from Day 0
本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論，請前往原始網站。
來源： vLLM Official Blog (vllm.ai)
開啟原文