跳到正文
LMSYS Org Blog(lmsys.org)· NVIDIA Nemotron Team and SGLang Team·· 2026-08-11精選品質評分74

NVIDIA 推出 Nemotron 3.5 Lightning,SGLang 同步支援

SGLang Adds Day-0 Support for NVIDIA Nemotron 3.5 Lightning

重點導讀

要讓 AI 助理長時間處理大量工作,模型得兼顧速度、準確度和部署方式。

  • NVIDIA 推出 Nemotron 3.5 Lightning,並由 SGLang 在 Day 0 提供支援。
  • 這個模型共有 30B 引數,每次運算啟用 3B,支援最多 1 million tokens 的上下文視窗,也能針對特定工作流程再訓練。它提供 MTP、DFlash 和 DSpark 三種推測解碼方式,先猜後驗證多個 token 來加快生成。
  • 原文稱,在相近準確度下,部分 AI 助理任務可快最多 30%。開發者也能控制每個步驟是否進行推理,依工作難度調整回應方式。

AI 伴隨問答

自備 Key 深度分析

針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:

推薦理由

Nemotron 3.5 Lightning 把模型蒸餾、推測解碼與 SGLang 支援放在同一篇說明,能看出部署時如何取捨生成速度與工作需求。

信源出處lmsys.org

SGLang Adds Day-0 Support for NVIDIA Nemotron 3.5 Lightning

本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。

開啟原文
來源: LMSYS Org Blog (lmsys.org)
開啟原文

讀者討論

理性交流 · 即時討論