跳到正文
Tom’s Hardware AI & Computing(tomshardware.com)· Shane Downing ·· 1 天前品質評分55

Homelabber 用兩張 RTX 3090 執行 Kimi K3,每秒生成 3.11 個 token

Homelabber’s second-gen Optane build uses two RTX 3090s to run 2.8-trillion-parameter Kimi AI model at 3.11 tokens per second

重點導讀

要在家用電腦跑超大型模型,模型檔案太大,讀取速度也會拖慢生成。

  • Tom’s Hardware 報導一位玩家把兩張 RTX 3090 加進 Optane 主機,執行 2.8 兆引數的 Kimi K3。
  • 再把 865 GB 模型檔中的 414 GB 放進 RAM drive 後,生成速度從每秒 2.20 個 token 提升到 3.11 個,提示詞評估速度也從每秒 13.3 個 token 提升到 16.8 個。這些數字來自玩家的測量。
  • Optane 記憶體仍然很熱,需要額外風扇散熱。

AI 伴隨問答

自備 Key 深度分析

針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:

信源出處tomshardware.com

Homelabber’s second-gen Optane build uses two RTX 3090s to run 2.8-trillion-parameter Kimi AI model at 3.11 tokens per second

本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。

開啟原文
來源: Tom’s Hardware AI & Computing (tomshardware.com)
開啟原文

讀者討論

理性交流 · 即時討論