LMSYS Org 成立 SGLang 聯盟,推動開源 AI 推論發展
LMSYS Org Launches SGLang Consortium with NVIDIA, AMD, Intel, Google, Meta, Thinking Machines Lab, Cloudflare, Modal and RadixArk to Advance Open-Source AI Inference
重點導讀
AI 推論越來越耗用運算資源,怎麼讓模型在不同硬體上跑得更有效率,成了業界共同面對的問題。
- LMSYS Org 成立 SGLang 聯盟,邀請 NVIDIA、AMD、Intel、Google、Meta 等創始成員與 SGLang 維護者一起討論專案方向,並合作開發。成員每年參加兩次路線圖會議,也能透過工程經驗、實際部署回饋和測試資源投入合作。
- 技術決策與程式碼是否接受,仍由 SGLang 維護者負責。聯盟希望讓共同的需求轉成工程工作,並公開路線圖與進度。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
推薦理由
SGLang 聯盟讓多家硬體與基礎設施團隊定期交流推論需求,並把共同方向帶進工程合作,呈現開源專案協調發展的做法。
信源出處lmsys.org
LMSYS Org Launches SGLang Consortium with NVIDIA, AMD, Intel, Google, Meta, Thinking Machines Lab, Cloudflare, Modal and RadixArk to Advance Open-Source AI Inference
本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。
來源: LMSYS Org Blog (lmsys.org)
開啟原文