跳到正文
Tom’s Hardware AI & Computing(tomshardware.com)· Shane Downing ·· 2 天前品質評分72

律師用 12 張二手 Nvidia V100 執行 DeepSeek V4.1 Flash

Lawyer’s $9,450 private AI server with 12 used Nvidia V100s now runs every DeepSeek V4.1 Flash expert

重點導讀

想在自己的伺服器跑大型模型,常得在模型完整度、硬體價格和等待時間之間取捨。

  • 一名律師花了 $9,450,把 12 張二手 Nvidia V100 裝進伺服器,讓 DeepSeek V4.1 Flash 的 15,360 個專家都能以 4-bit NVFP4 格式放在卡上。作者實測,程式碼輸出速度最高達每秒 184 個 token,讀取 128K 檔案約需 28 秒。
  • 長檔案開始回答的時間也比升級前快近一倍。不過 V100 沒有 FP4 核心,仍須由軟體把資料轉成較高精度格式,而且這些數字沒有說明實際回答品質。

AI 伴隨問答

自備 Key 深度分析

針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:

信源出處tomshardware.com

Lawyer’s $9,450 private AI server with 12 used Nvidia V100s now runs every DeepSeek V4.1 Flash expert

本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。

開啟原文
來源: Tom’s Hardware AI & Computing (tomshardware.com)
開啟原文

讀者討論

理性交流 · 即時討論