PyTorch 把 FloorDiv 移出核心運算,讓 GLM-5.3 FP8 權重處理快 1.17 到 1.22 倍
trunk/ccfab41a30ae69f723de9fdeab5d9208ca2fc2b4: [inductor] Hoist size-only FloorDiv out of kernel indexing (#205053)
重點導讀
PyTorch 原本會在處理每個資料時,重複計算一個其實整次運作都不會變的除法,白白多花時間。
- 這次修改讓 PyTorch 先算好這個數字,再交給後續運算使用。在 GB200 上測試 GLM-5.3 的 FP8 權重時,速度快了 1.17 到 1.22 倍。
- 例如其中一種權重,單次運算時間從 739.2 微秒降到 607.8 微秒。測試結果在修改前後都和 eager 的結果一致。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
信源出處github.com
trunk/ccfab41a30ae69f723de9fdeab5d9208ca2fc2b4: [inductor] Hoist size-only FloorDiv out of kernel indexing (#205053)
本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。
來源: PyTorch Core Releases (github.com)
開啟原文