SGLang 成為 NVIDIA NIM 認證微服務的推論引擎,協助企業部署 AI 模型
SGLang and NVIDIA NIM: Advancing Enterprise Inference Together
重點導讀
公司要讓 AI 模型在自家裝置上順利運作,得先確認模型、硬體和設定彼此相容,也要知道實際使用時跑得多快。
- 現在 NVIDIA NIM 認證微服務採用開源推論引擎 SGLang,提供經過驗證的容器與設定,並為部分模型調整效能。
- NIM 計畫也已驗證超過 30 種 NVIDIA 硬體規格和超過 37 個熱門模型。企業可從整理好的設定開始部署,有特殊需求時仍能調整引擎設定,並可選擇透過 NVIDIA AI Enterprise 取得支援與安全維護。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
信源出處lmsys.org
SGLang and NVIDIA NIM: Advancing Enterprise Inference Together
本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。
來源: LMSYS Org Blog (lmsys.org)
開啟原文