跳到正文
NVIDIA Blog· Vishal Ganeriwala·· 16 天前AI 評分49

NVIDIA 如何通過 DSX 最大化 AI 工廠產能:從兆瓦到 token

From Megawatts to Tokens: How NVIDIA Maximizes AI Factory Production

AI 導讀

NVIDIA 推出旨在最佳化 AI 工廠每兆瓦 token 吞吐量的技術套件 NVIDIA DSX,涵蓋動態功耗分配、網格協同排程及生命週期管理等功能。

  • Lambda 的實測結果顯示,在固定電源預算下利用 NVIDIA DSX MaxLPS 執行叢集可提升 24% 的 token 吞吐量。
  • 該平臺通過智慧化排程與即時監控,有效釋放了傳統靜態配置下的閒置算力。

來源:NVIDIA Blog · blogs.nvidia.com