跳到正文
Tom’s Hardware AI & Computing(tomshardware.com)· Shane Downing ·· 3 天前精選品質評分76

三張二手 Nvidia V100 跑 Qwen 3.6 35B,長上下文仍有每秒 72.7 個 token

Three 'e-waste' Nvidia V100s hit 100 tokens per second on Qwen 3.6 35B in a $1,042 homelab rig

重點導讀

想在家用電腦跑大型語言模型,買新顯示卡可能很花錢。

  • 這篇評測用三張二手 Nvidia V100 組成總價 $1,042 的主機,測試 Qwen 3.6 35B。
  • 在 4K 上下文時,每秒約產生 100 個 token,到了 128K 仍有 72.7 個。作為比較,三張 P100 在相同條件下只有 40.2 個,V100 每次測試的 GPU 耗電也約是 P100 的一半。作者提醒,各臺裝置使用的執行工具不同,因此比較數字只能大致參考。

AI 伴隨問答

自備 Key 深度分析

針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:

推薦理由

這組測試比較不同退役 GPU 在長上下文下的速度與耗電,也列出自組成本,可用來評估舊卡能否應付本機模型推論。

信源出處tomshardware.com

Three 'e-waste' Nvidia V100s hit 100 tokens per second on Qwen 3.6 35B in a $1,042 homelab rig

本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。

開啟原文
來源: Tom’s Hardware AI & Computing (tomshardware.com)
開啟原文

讀者討論

理性交流 · 即時討論