跳到正文
LMSYS Org Blog(lmsys.org)· WiCi AI Team, SGLang Team·· 2026-08-29精選品質評分65

SGLang 用 SSD Expert Pack 在消費級硬體上執行 DeepSeek-V4-Flash 和 Kimi-K3

Running DeepSeek-V4-Flash and Kimi-K3 on Consumer Hardware with SSD Expert Pack

重點導讀

MoE 模型的專家權重太大,消費級顯示卡和記憶體通常放不下完整模型。

  • SGLang 的 SSD Expert Pack 把專家權重放在 NVMe SSD,每次只讀取路由器選中的專家,並用 GPU 快取留住常用內容。
  • 它也能省去資料先經過系統快取、再複製到 GPU 傳輸用記憶體的步驟。團隊在配有 RTX 5090、32 GB 記憶體和 2 TB SSD 的電腦上測試 DeepSeek-V4-Flash 與 Kimi-K3,兩款模型在測試中的生成速度都高於各自的比較基準。這種做法能降低放置完整專家權重所需的 GPU 記憶體,但 SSD 讀取和快取命中情況仍會影響速度。

AI 伴隨問答

自備 Key 深度分析

針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:

推薦理由

這套方法把容量需求轉移到 NVMe SSD,再用 GPU 快取常用專家;文中也比較兩款模型在單張消費級顯示卡上的實測速度與 SSD 讀取量。

信源出處lmsys.org

Running DeepSeek-V4-Flash and Kimi-K3 on Consumer Hardware with SSD Expert Pack

本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。

開啟原文
來源: LMSYS Org Blog (lmsys.org)
開啟原文

讀者討論

理性交流 · 即時討論