PyTorch Inductor 加快 FakeTensor 資料更新,區域性修改最快快 54 倍
viable/strict/1794563420: [Inductor] optimized FakeTensor metadata refresh (#204337) (#204337)
重點導讀
PyTorch Inductor 原本每次更新 FakeTensor 資料時,都會掃描整張運算圖;如果只改了其中一小部分,連沒受影響的地方也得檢查,編譯就會花較多時間。
- 這次新增的更新方式從已知的修改位置開始,只往受影響的地方檢查,資料沒有變化時就提早停下。
- 測試中,對一張有 1,605 個節點的運算圖做 200 次區域性修改,更新時間從 25.4 秒降到 0.47 秒,快了 54 倍。
- 結果顯示,若修改隻影響小範圍,就能少做很多不必要的檢查,讓更新更快。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
信源出處github.com
viable/strict/1794563420: [Inductor] optimized FakeTensor metadata refresh (#204337) (#204337)
本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。
來源: PyTorch Core Releases (github.com)
開啟原文