跳到正文
LMSYS Org Blog(lmsys.org)· LMSYS Org·· 11 天前精選品質評分71

LMSYS Org 成立 SGLang 聯盟,推動開源 AI 推論發展

LMSYS Org Launches SGLang Consortium with NVIDIA, AMD, Intel, Google, Meta, Thinking Machines Lab, Cloudflare, Modal and RadixArk to Advance Open-Source AI Inference

重點導讀

AI 推論越來越耗用運算資源,怎麼讓模型在不同硬體上跑得更有效率,成了業界共同面對的問題。

  • LMSYS Org 成立 SGLang 聯盟,邀請 NVIDIA、AMD、Intel、Google、Meta 等創始成員與 SGLang 維護者一起討論專案方向,並合作開發。成員每年參加兩次路線圖會議,也能透過工程經驗、實際部署回饋和測試資源投入合作。
  • 技術決策與程式碼是否接受,仍由 SGLang 維護者負責。聯盟希望讓共同的需求轉成工程工作,並公開路線圖與進度。

AI 伴隨問答

自備 Key 深度分析

針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:

推薦理由

SGLang 聯盟讓多家硬體與基礎設施團隊定期交流推論需求,並把共同方向帶進工程合作,呈現開源專案協調發展的做法。

信源出處lmsys.org

LMSYS Org Launches SGLang Consortium with NVIDIA, AMD, Intel, Google, Meta, Thinking Machines Lab, Cloudflare, Modal and RadixArk to Advance Open-Source AI Inference

本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。

開啟原文
來源: LMSYS Org Blog (lmsys.org)
開啟原文

讀者討論

理性交流 · 即時討論