SGLang 和 Miles 加入 Muse Spark Open 支援,並公佈多平臺效能測試
SGLang and Miles Add Day-0 Support for Muse Spark Open
重點導讀
大型多模態模型要在不同硬體上執行,常得處理長提示詞、圖片影片輸入和模型運算量大的問題。
- SGLang 和 Miles 加入 Muse Spark Open 支援,涵蓋推論、微調與多輪強化學習訓練。
- 模型可讀取文字、圖片、影片和音訊,並支援 1M token 的上下文視窗。文章也列出 NVIDIA、AMD、Intel 和 TPU 平臺的支援進度,以及多組程式開發工作負載測試。在 8 張 B300 GPU 的 OpenHands 測試中,單一對話每位使用者每秒產生 543 個 token。
- 128 個對話同時執行時,則為每位使用者每秒 61 個 token。這些數字來自特定硬體與測試設定,可用來瞭解不同工作量下的速度變化。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
推薦理由
文章整理 Muse Spark Open 在多種硬體上的支援方式與實測結果,並說明長提示詞和多輪程式開發工作如何影響推論速度。
信源出處lmsys.org
SGLang and Miles Add Day-0 Support for Muse Spark Open
本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。
來源: LMSYS Org Blog (lmsys.org)
開啟原文