跳到正文
𝕏 SemiAnalysis(x.com)·· 10 天前品質評分45
重點導讀

快訊🚨:GB300 NVL72 使用 TP24 搭配 TileRT MegaKernels,在 DeepSeek v4.1 Flash 上可達到 1725 tok/s/user,解碼速度是通用引擎的 2 倍!

TileRT 團隊將帶來更多 GB300 NVL72 多併發測試結果。看到 TileRT 在 GB300 NVL72 上的表現後,不妨想像一下它在 Rubin NVL72、MI455X UALoE72 或 TPUv7 上能做到什麼!

感謝 TileRT 維護者的出色工作,也感謝 Ian Buck 為這個出色的 TileRT 專案提供 GB300 NVL72 使用權!

AI 伴隨問答

自備 Key 深度分析

針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:

SemiAnalysis
SemiAnalysis@SemiAnalysis_
·10 天前
𝕏

BREAKING NEWS🚨: GB300 NVL72 can reach 1725 tok/s/user on DeepSeek v4.1 Flash using TP24 with TileRT MegaKernels, 2x faster than general-purpose engines for decode!

More to come from the TileRT folks with multi-concurrency on GB300 NVL72. If you see what TileRT on GB300 NVL72 can do, imagine what TileRT on Rubin NVL72, MI455X UALoE72, or TPUv7 could do!!

Great work by the TileRT maintainers, and thank you to Ian Buck for providing GB300 NVL72 access to this amazing TileRT project!

推文來源 · X (Twitter)在 X 參與討論

讀者討論

理性交流 · 即時討論