跳到正文
PyTorch Core Releases(github.com)· jhou-jpg·· 4 天前品質評分44

PyTorch Inductor 修正 reduction 融合後的數值差異

ciflow/torchtitan/205593: [Inductor] Preserve tuned reduction launch settings in combos (#205593)

重點導讀

PyTorch Inductor 把多個小程式合在一起執行時,可能會讓 reduction 的加總順序改變,結果就和單獨執行時差一點。

  • 這次修正會依照各程式調校好的執行設定,把設定不同的 reduction 分開。
  • 設定相同的仍可合在一起,含 reduction 的組合也不再於執行時重新調校。如此一來,在相同設定下,組合執行的結果能和單獨執行完全一致。測試的 7 個 Ads/IG 圖表中,執行時間變化落在平常測量誤差範圍內。

AI 伴隨問答

自備 Key 深度分析

針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:

信源出處github.com

ciflow/torchtitan/205593: [Inductor] Preserve tuned reduction launch settings in combos (#205593)

本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。

開啟原文
來源: PyTorch Core Releases (github.com)
開啟原文

讀者討論

理性交流 · 即時討論