跳到正文
LMSYS Org Blog(lmsys.org)· The SGLang Team·· 2026-10-22品質評分55

SGLang 推出 AWS Trainium 外掛測試版,支援模型推論與 RL rollout

Announcing the SGLang AWS Trainium Plugin Beta

重點導讀

長時間提供大型語言模型服務和產生 RL 訓練資料都會持續消耗運算資源,團隊得考量每個 token 的成本。

  • SGLang 和 AWS 合作推出 Trainium 外掛測試版,讓 SGLang 能在 Trainium2 和 Trainium3 上提供模型推論服務,也能產生 RL rollout。
  • 開發者可沿用熟悉的 PyTorch 工作方式,搬動現有工作時只需少量修改。
  • 團隊也展示一種分工方式:在 Trainium3 上產生 Qwen3-MoE-30B-A3B 的 rollout,再用單臺 H200 主機訓練模型。
  • 測試版目前只開放給少數團隊申請,效能調整仍在進行中。

AI 伴隨問答

自備 Key 深度分析

針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:

信源出處lmsys.org

Announcing the SGLang AWS Trainium Plugin Beta

本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。

開啟原文
來源: LMSYS Org Blog (lmsys.org)
開啟原文

讀者討論

理性交流 · 即時討論