vLLM 推出 NVIDIA Nemotron 3.5 Super VL Day 0 支援,實現即時多模態推理
Announcing Day 0 Support for NVIDIA Nemotron 3.5 Super VL on vLLM
重點導讀
NVIDIA Nemotron 3.5 Super VL 現已在 vLLM 上提供 Day 0 支援,允許開發者即時部署多模態代理工作流程。
- 模型規格:120B 引數,12B 活躍引數,採用 Mixture-of-Experts 結構,支援文字、影像、檔案、影片輸入,輸出文字。
推薦理由
本文說明 NVIDIA Nemotron 3.5 Super VL 在 vLLM 上的 Day 0 支援,讀者可即時部署並評估其多模態推理效能。
信源出處vllm.ai
Announcing Day 0 Support for NVIDIA Nemotron 3.5 Super VL on vLLM
本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。
來源: vLLM Official Blog (vllm.ai)
開啟原文