律師花 $9,450 組 12 張二手 V100 主機,讓 DeepSeek V4.1 Flash 完整專家組留在記憶體
A lawyer spent $9,450 on 12 used NVIDIA V100 cards to hold every DeepSeek V4.1 Flash expert in GPU memory
重點導讀
AI 模型放進家用主機時,顯示卡記憶體不夠,可能得把模型資料縮小或搬來搬去。
- 律師 Nick Mermiges 加到 12 張二手 NVIDIA Tesla V100,讓 DeepSeek V4.1 Flash 的 15,360 個專家都能以 4-bit 格式留在記憶體裡,整套主機花了 $9,450。他回報,256K 上下文時第一個程式碼 token 約等 58 秒,之前的 8 張卡要等 108.4 秒。
- 但 32K 以上的程式碼生成速度沒有明顯提升。這些數字來自作者自述,並非獨立測試。
- V100 也得先用軟體轉換資料格式才能運作。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
信源出處dev.to
A lawyer spent $9,450 on 12 used NVIDIA V100 cards to hold every DeepSeek V4.1 Flash expert in GPU memory
本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。
來源: Dev.to Top Tech (dev.to)
開啟原文