跳到正文
Dev.to Top Tech(dev.to)· Abdulrahman Maslmany·· 8 天前品質評分51

實測 DeepSeek-V3 和 DeepSeek-Coder-V2 在本機 GPU 上的記憶體需求與速度

DeepSeek-V3 & Coder-V2 on Local GPUs: Exact VRAM, MoE Physics & Token Benchmarks

重點導讀

把大型模型放在自己的電腦上跑,常會遇到顯示卡記憶體不夠,或速度慢得難以使用的問題。

  • 作者實測 DeepSeek-V3 和 DeepSeek-Coder-V2,說明即使模型每次只啟用部分引數,所有引數仍要放在顯示卡或系統記憶體裡。以 DeepSeek-Coder-V2 為例,兩張 RTX 3090 搭配系統記憶體時,速度約為每秒 3.2 到 4.1 個 token。
  • Mac Studio Ultra 的測試則約為每秒 14.8 到 18.2 個 token。文章也指出,把資料搬到系統記憶體會拖慢運算,可用這些實測結果估算本機部署需要的硬體。

AI 伴隨問答

自備 Key 深度分析

針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:

信源出處dev.to

DeepSeek-V3 & Coder-V2 on Local GPUs: Exact VRAM, MoE Physics & Token Benchmarks

本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。

開啟原文
來源: Dev.to Top Tech (dev.to)
開啟原文

讀者討論

理性交流 · 即時討論