PyTorch 修正 Inductor 長串資料寫入造成的效能問題
trunk/538adf451984b1d7d5fbd008bab02d2f346d977d: PT2 Inductor Long Scatter Chain Fix (#204118) (#204118)
重點導讀
PyTorch Inductor 把一長串資料寫入操作合併執行時,每個工作區塊都會讀取大量用不到的資料,拖慢了補零工作。
- 這次修正調整了圖形最佳化方式,遇到較長的寫入鏈時,改成直接把資料寫進指定位置,避免重複讀取。在 GB300 的本機測試中,每輪工作約省下 25 毫秒。
- GB200 測試也觀察到每輪至少省下 44 毫秒。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
推薦理由
這項 PyTorch Inductor 修正說明,長鏈融合可能讓每個執行區塊重複讀取不需要的資料,並以實測呈現改用原地寫入後的效能差異。
信源出處github.com
trunk/538adf451984b1d7d5fbd008bab02d2f346d977d: PT2 Inductor Long Scatter Chain Fix (#204118) (#204118)
本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。
來源: PyTorch Core Releases (github.com)
開啟原文