PyTorch DTensor 改用本地分片計算 any/all,等需要時再合併結果
trunk/11b971398ac96eefe8b5d8296dabcc43092d8b6e: [DTensor] Reduce sharded any/all locally with safe partials (#204895)
重點導讀
DTensor 計算 any/all 時,原本會先把所有資料分片集中起來,才能判斷結果,可能因此多做一次資料傳輸。
- 這次修改讓每個分片先在本地計算,再把中間結果留到真的需要完整答案時才合併。
- 例如檢查一個布林值時,會先取得所有分片的整體結果。原本的雙 GPU 測試從 any() 需要一次資料集中傳輸,變成運算當下不傳資料,取用結果時才做一次合併。這能減少不必要的 GPU 資料傳輸,讓分散式運算更有效率。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
信源出處github.com
trunk/11b971398ac96eefe8b5d8296dabcc43092d8b6e: [DTensor] Reduce sharded any/all locally with safe partials (#204895)
本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。
來源: PyTorch Core Releases (github.com)
開啟原文