SGLang 推出 AWS Trainium 外掛測試版,支援模型推論與 RL rollout
Announcing the SGLang AWS Trainium Plugin Beta
重點導讀
長時間提供大型語言模型服務和產生 RL 訓練資料都會持續消耗運算資源,團隊得考量每個 token 的成本。
- SGLang 和 AWS 合作推出 Trainium 外掛測試版,讓 SGLang 能在 Trainium2 和 Trainium3 上提供模型推論服務,也能產生 RL rollout。
- 開發者可沿用熟悉的 PyTorch 工作方式,搬動現有工作時只需少量修改。
- 團隊也展示一種分工方式:在 Trainium3 上產生 Qwen3-MoE-30B-A3B 的 rollout,再用單臺 H200 主機訓練模型。
- 測試版目前只開放給少數團隊申請,效能調整仍在進行中。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
信源出處lmsys.org
Announcing the SGLang AWS Trainium Plugin Beta
本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。
來源: LMSYS Org Blog (lmsys.org)
開啟原文