Muse Spark Open 在 Apple M5 Ultra Mac Studio 上實機部署
Muse Spark Open
Muse Spark Open 在 Apple M5 Ultra Mac Studio 上實機部署,提供 816B 引數、1M token 上下文視窗的多模態推理能力。
本篇說明 Muse Spark Open 在 Apple M5 Ultra Mac Studio 上實機部署,為開發者整合本地高效能模型提供參考。
Muse Spark Open 今日正式上線,首次將領先的自主型功能帶到您的桌面,支援 Apple M5 Ultra Mac Studios。
今日,我們發布 Muse Spark Open 的權重,迄今為止最強大的美國開放權重模型。Muse Spark Open 是一個原生多模態模型,總引數量 816B(活躍 42B),擁有 1M-token 的上下文視窗。專為編碼與自主工作打造,在長期任務、複雜軟體工程與多步驟推理上表現卓越。
我們相信 未來屬於每個人,這包括在任何地方執行先進模型的自由,甚至在家中。Muse Spark Open 是首個能在兩臺 Apple M5 Ultra Mac Studio 上,配合最新 MLX 框架,在桌面上執行的同類模型。
Muse Spark Open 今日已可透過 Baseten、Fireworks AI、Groq、Modal、Nebius、OpenRouter 與 Together AI 等 API 平臺使用。模型權重可在 Amazon SageMaker AI、Google Cloud Model Garden、Hugging Face 以及 Microsoft Foundry Models 下載。
它可在 SGLang、vLLM、TensorRT-LLM、Hugging Face Transformers、Apple MLX、llama.cpp 與 Unsloth 等領先推理引擎上執行,並針對 AMD、Apple、Intel 與 NVIDIA 晶片進行最佳化。開發者可輕鬆使用 PyTorch 框架進一步自訂模型。
關鍵基準
欲瞭解更多評估細節,請參閱 評估方法論報告。
針對 Apple Silicon 最佳化
利用最新版本的 MLX,Muse Spark Open 已被最佳化以在搭載 M5 Ultra 的 Mac Studio 上執行,兩臺機器結合後成為在您自己的桌面上執行強大模型的最佳方式。
Apple 的統一記憶體架構允許 M5 Ultra 的整合 GPU 每臺 Mac Studio 可使用高達 512 GB,兩臺機器即可容納整個模型。晶片的 1.2 TB/s 記憶體頻寬足以讀取每個 token 所需的小切片。結果是兩臺 Mac Studio 如同一臺擁有 1 TB 統一記憶體的超級電腦。
我們測試了一系列完全在裝置上執行的自主工作流程,使用由 Muse Spark Open 驅動的 Muse Code,包括將真實 iOS 更改部署至 Ice Cubes(開源 Mastodon 客戶端)——修復錯誤、新功能、完整建置——以及從頭到尾驅動 DaVinci Resolve,模型逐幀審視影片以尋找最佳時刻並進行垂直裁剪。
立即可用
我們分享此工作是因為希望每個人都能使用最優模型。Muse Spark 的開放權重版本搭載在 SGLang 中的自訂、可自動調整的 Helion GPU 核心,於 NVIDIA 與 AMD GPU 上提供 1.03-3.95 倍的核心級加速,並在 AMD MI350 上達成 3% 的端到端加速。
安全與準備
發布開放權重模型是我們將個人超智慧的好處帶給每個人的方式之一,也是安全工作在整個領域推進的方式之一。
開放權重也帶有其自身的 考量,因此 Muse Spark Open 為此增加了額外的安全後訓練。結果顯示在所測風險類別中具備強大的保護措施。
我們依據 Meta 超智慧擴充套件框架 評估模型,涵蓋最嚴重風險,並符合框架釋出所需的門檻。詳細結果載於 Muse Spark Open 模型卡,完整評估報告將很快公佈。
授權
我們將以 Muse Model License 釋出權重,採用有限的商業條款,允許許多開發者免費使用此模型。
開始使用
您可以利用 PyTorch 的 TorchTitan 進一步微調模型,為您的使用情境客製化 Muse Spark Open。若要在 Apple silicon 上執行,請使用 MLX,該工具會直接從 Hugging Face 下載權重。
Muse Spark Open 現已可透過 Hugging Face 取得:https://huggingface.co/collections/meta-models/muse-spark-open
MLX Adapter 用於在 Mac Studio 上執行 Muse Spark Open。
託管推論合作夥伴:Together AI、Fireworks、Baseten、Modal 與 OpenRouter。
使用 Muse Spark Open 建立或釋出過什麼嗎?在 Hugging Face Forums 與我們分享 — 我們很想看到你創造的作品。