跳到正文
Dev.to Top Tech(dev.to)· News·· 21 小時前品質評分62

律師花 $9,450 組 12 張二手 V100 主機,讓 DeepSeek V4.1 Flash 完整專家組留在記憶體

A lawyer spent $9,450 on 12 used NVIDIA V100 cards to hold every DeepSeek V4.1 Flash expert in GPU memory

重點導讀

AI 模型放進家用主機時,顯示卡記憶體不夠,可能得把模型資料縮小或搬來搬去。

  • 律師 Nick Mermiges 加到 12 張二手 NVIDIA Tesla V100,讓 DeepSeek V4.1 Flash 的 15,360 個專家都能以 4-bit 格式留在記憶體裡,整套主機花了 $9,450。他回報,256K 上下文時第一個程式碼 token 約等 58 秒,之前的 8 張卡要等 108.4 秒。
  • 但 32K 以上的程式碼生成速度沒有明顯提升。這些數字來自作者自述,並非獨立測試。
  • V100 也得先用軟體轉換資料格式才能運作。

AI 伴隨問答

自備 Key 深度分析

針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:

信源出處dev.to

A lawyer spent $9,450 on 12 used NVIDIA V100 cards to hold every DeepSeek V4.1 Flash expert in GPU memory

本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。

開啟原文
來源: Dev.to Top Tech (dev.to)
開啟原文

讀者討論

理性交流 · 即時討論