跳到正文
Hugging Face Blog(huggingface.co)·· 5 天前精選品質評分78

作者用 Transformers 在 32 GB Mac 上執行 180B MoE 模型

180B Parameters, 32GB of RAM: Pushing MoE Inference to the Limit with Transformers

重點導讀

大型 MoE 模型的專家權重很佔空間,往往放不進一般筆電的記憶體。

  • 作者替 Transformers 加上串流載入方式,只從 SSD 讀取模型當下挑中的專家,並用有限大小的快取保留常用部分。
  • 其他權重和 n-gram 資料也分別處理,讓 Qwen3.8-Flash-Next 能在 32 GB 的 Mac 上執行。經過調整後,短文字生成速度是每秒 13.9 個 token,和 Strata 的每秒 14.8 個接近。作者也指出,剩下的速度差距主要和 Python 與 GPU 之間的等待有關。

AI 伴隨問答

自備 Key 深度分析

針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:

推薦理由

作者比較多種 MoE 推論引擎,並實測如何只載入當下用到的專家,讓大型模型在 32 GB Mac 上運作。

信源出處huggingface.co

180B Parameters, 32GB of RAM: Pushing MoE Inference to the Limit with Transformers

本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。

開啟原文
來源: Hugging Face Blog (huggingface.co)
開啟原文

讀者討論

理性交流 · 即時討論