跳到正文
LMSYS Org Blog(lmsys.org)· SGLang Team·· 2026-10-15精選品質評分76

SGLang 和 Miles 加入 Muse Spark Open 支援,並公佈多平臺效能測試

SGLang and Miles Add Day-0 Support for Muse Spark Open

重點導讀

大型多模態模型要在不同硬體上執行,常得處理長提示詞、圖片影片輸入和模型運算量大的問題。

  • SGLang 和 Miles 加入 Muse Spark Open 支援,涵蓋推論、微調與多輪強化學習訓練。
  • 模型可讀取文字、圖片、影片和音訊,並支援 1M token 的上下文視窗。文章也列出 NVIDIA、AMD、Intel 和 TPU 平臺的支援進度,以及多組程式開發工作負載測試。在 8 張 B300 GPU 的 OpenHands 測試中,單一對話每位使用者每秒產生 543 個 token。
  • 128 個對話同時執行時,則為每位使用者每秒 61 個 token。這些數字來自特定硬體與測試設定,可用來瞭解不同工作量下的速度變化。

AI 伴隨問答

自備 Key 深度分析

針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:

推薦理由

文章整理 Muse Spark Open 在多種硬體上的支援方式與實測結果,並說明長提示詞和多輪程式開發工作如何影響推論速度。

信源出處lmsys.org

SGLang and Miles Add Day-0 Support for Muse Spark Open

本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。

開啟原文
來源: LMSYS Org Blog (lmsys.org)
開啟原文

讀者討論

理性交流 · 即時討論