Homelabber 用兩張 RTX 3090 執行 Kimi K3,每秒生成 3.11 個 token
Homelabber’s second-gen Optane build uses two RTX 3090s to run 2.8-trillion-parameter Kimi AI model at 3.11 tokens per second
重點導讀
要在家用電腦跑超大型模型,模型檔案太大,讀取速度也會拖慢生成。
- Tom’s Hardware 報導一位玩家把兩張 RTX 3090 加進 Optane 主機,執行 2.8 兆引數的 Kimi K3。
- 再把 865 GB 模型檔中的 414 GB 放進 RAM drive 後,生成速度從每秒 2.20 個 token 提升到 3.11 個,提示詞評估速度也從每秒 13.3 個 token 提升到 16.8 個。這些數字來自玩家的測量。
- Optane 記憶體仍然很熱,需要額外風扇散熱。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
信源出處tomshardware.com
Homelabber’s second-gen Optane build uses two RTX 3090s to run 2.8-trillion-parameter Kimi AI model at 3.11 tokens per second
本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。
來源: Tom’s Hardware AI & Computing (tomshardware.com)
開啟原文