律師用 12 張二手 Nvidia V100 執行 DeepSeek V4.1 Flash
Lawyer’s $9,450 private AI server with 12 used Nvidia V100s now runs every DeepSeek V4.1 Flash expert
重點導讀
想在自己的伺服器跑大型模型,常得在模型完整度、硬體價格和等待時間之間取捨。
- 一名律師花了 $9,450,把 12 張二手 Nvidia V100 裝進伺服器,讓 DeepSeek V4.1 Flash 的 15,360 個專家都能以 4-bit NVFP4 格式放在卡上。作者實測,程式碼輸出速度最高達每秒 184 個 token,讀取 128K 檔案約需 28 秒。
- 長檔案開始回答的時間也比升級前快近一倍。不過 V100 沒有 FP4 核心,仍須由軟體把資料轉成較高精度格式,而且這些數字沒有說明實際回答品質。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
信源出處tomshardware.com
Lawyer’s $9,450 private AI server with 12 used Nvidia V100s now runs every DeepSeek V4.1 Flash expert
本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。
來源: Tom’s Hardware AI & Computing (tomshardware.com)
開啟原文