PyTorch Inductor 修正 reduction 融合後的數值差異
ciflow/torchtitan/205593: [Inductor] Preserve tuned reduction launch settings in combos (#205593)
重點導讀
PyTorch Inductor 把多個小程式合在一起執行時,可能會讓 reduction 的加總順序改變,結果就和單獨執行時差一點。
- 這次修正會依照各程式調校好的執行設定,把設定不同的 reduction 分開。
- 設定相同的仍可合在一起,含 reduction 的組合也不再於執行時重新調校。如此一來,在相同設定下,組合執行的結果能和單獨執行完全一致。測試的 7 個 Ads/IG 圖表中,執行時間變化落在平常測量誤差範圍內。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
信源出處github.com
ciflow/torchtitan/205593: [Inductor] Preserve tuned reduction launch settings in combos (#205593)
本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。
來源: PyTorch Core Releases (github.com)
開啟原文