跳到正文
Hacker News (官方 RSS)·· 1 天前AI 評分66

GPU 估算工具:1M/B/T tokens 需要多少 GPU

How many GPUs is 1M/B/T tokens?

AI 導讀

GPU 估算工具 讓使用者能快速計算在 1 億/兆/兆 tokens 的工作負載下,對應 Llama 3.3 70B 等模型所需的 GPU 數量。

  • 核心計算:1 兆 tokens/月(30 天)約 367 臺 H100 GPU,基於 1,000 tokens/s 的 H100 速度與 50% 利用率。

來源:Hacker News (官方 RSS) · cedana.com