熱點事件持續更新

HBM chips >1000 tok/s/user

1 篇報導1 個報導來源2 小時前更新

先了解這件事

重點綜述

HBM 晶片 在 700B+ 大模型上，透過 NVIDIA AgentX 提供的代理群體軟體，達到每使用者 1000+ tok/s 的效能。

效能：在 Rubin NVL72 上，與 GB300 NVL72 相比，TCO 成本效益提升 20.9 倍，速度可達 325 tok/s/使用者；在 200 tok/s/使用者時提升 9.11 倍。
硬體平臺：使用 Rubin NVL72 HBM 晶片，顯示在高引數模型上的優勢。
報告來源：NVIDIA AgentX 提交的技術報告，具體資料可查閱官方檔案。

根據報導自動生成 · 2 小時前更新

沿著報導，瞭解事件的不同面向。

11月2日

01:49
SemiAnalysis (@SemiAnalysis_)
HBM 晶片突破 1000 tok/s/使用者：700B+ 模型代理群體軟體效能報告
HBM 晶片在 700B+ 大模型上，透過 NVIDIA AgentX 提供的代理群體軟體，達到每使用者 1000+ tok/s 的效能。效能：在 Rubin NVL72 上，與 GB300 NVL72 相比，TCO 成本效益提升 20.9 倍，速度可達 325 tok/s/使用者；在 200 tok/s/使用者時提升 9.11 倍。硬體平臺：使用 Rubin NVL72 HBM 晶片，顯示在高引數模型上的優勢。報告來源：NVIDIA AgentX 提交的技術報告，具體資料可查閱官方檔案。

還沒有足夠的連續觀測資料，暫不繪製趨勢。