重點導讀
HBM 晶片 在 700B+ 大模型上，透過 NVIDIA AgentX 提供的代理群體軟體，達到每使用者 1000+ tok/s 的效能。
- 效能：在 Rubin NVL72 上，與 GB300 NVL72 相比，TCO 成本效益提升 20.9 倍，速度可達 325 tok/s/使用者；在 200 tok/s/使用者時提升 9.11 倍。
- 硬體平臺：使用 Rubin NVL72 HBM 晶片，顯示在高引數模型上的優勢。
- 報告來源：NVIDIA AgentX 提交的技術報告，具體資料可查閱官方檔案。
AI 伴隨問答
針對這篇報導有疑問？可直接點選快捷問題或向 AI 追問背景脈絡與技術細節：
SemiAnalysis@SemiAnalysis_
·3 小時前
BREAKING NEWS🚨: HBM CHIPS CAN REACH OVER 1000 tok/s/user on giant 700B+ models via agent swarm-written software, according to a new NVIDIA AgentX submission.
Furthermore, on Rubin NVL72, it can achieve 20.9x better perf per TCO than GB300 NVL72 at even "ultrafast" speeds of 325 tok/s/user and up to 9.11x better perf per TCO at 200 tok/s/user. (1/2)🧵
推文來源 · X (Twitter)在 X 參與討論
來源： SemiAnalysis (x.com)
在 X 查看推文