NVIDIA 推出 Nemotron 3.5 Lightning,SGLang 同步支援
SGLang Adds Day-0 Support for NVIDIA Nemotron 3.5 Lightning
重點導讀
要讓 AI 助理長時間處理大量工作,模型得兼顧速度、準確度和部署方式。
- NVIDIA 推出 Nemotron 3.5 Lightning,並由 SGLang 在 Day 0 提供支援。
- 這個模型共有 30B 引數,每次運算啟用 3B,支援最多 1 million tokens 的上下文視窗,也能針對特定工作流程再訓練。它提供 MTP、DFlash 和 DSpark 三種推測解碼方式,先猜後驗證多個 token 來加快生成。
- 原文稱,在相近準確度下,部分 AI 助理任務可快最多 30%。開發者也能控制每個步驟是否進行推理,依工作難度調整回應方式。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
推薦理由
Nemotron 3.5 Lightning 把模型蒸餾、推測解碼與 SGLang 支援放在同一篇說明,能看出部署時如何取捨生成速度與工作需求。
信源出處lmsys.org
SGLang Adds Day-0 Support for NVIDIA Nemotron 3.5 Lightning
本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。
來源: LMSYS Org Blog (lmsys.org)
開啟原文