重點導讀
在本機部署大型模型時,如何讓模型留在 GPU 記憶體裡,並用多張 GPU 提供服務,是這份指南處理的重點。
- NVIDIA 製作了影片示範和部署指南,介紹如何透過 vLLM 在兩臺 DGX Station 上執行 GLM-5.3 NVFP4:模型權重放在 GPU 記憶體中,由兩張 GB300 GPU 分擔運算,再透過相容 OpenAI 的單一 API 提供服務。
- 設定也啟用了 MTP 推測解碼、FP8 KV cache 和字首快取。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
vLLM@vllm_project
·6 天前
.@NVIDIA put together a video walkthrough and deployment guide for running GLM-5.3 NVFP4 locally on two DGX Stations with vLLM.
The setup keeps all model weights in GPU memory, using tensor parallelism across two GB300 GPUs to serve requests through a single OpenAI-compatible API. It also enables MTP speculative decoding, FP8 KV cache, and prefix caching.
Watch the walkthrough:
https://t.co/Nacp2PHiC4
Get the deployment guide: https://t.co/CPnA8tK9Pw
推文來源 · X (Twitter)在 X 參與討論