跳到正文
PyTorch Core Releases(github.com)· aditvenk·· 7 天前品質評分45

PyTorch DTensor 改用本地分片計算 any/all,等需要時再合併結果

trunk/11b971398ac96eefe8b5d8296dabcc43092d8b6e: [DTensor] Reduce sharded any/all locally with safe partials (#204895)

重點導讀

DTensor 計算 any/all 時,原本會先把所有資料分片集中起來,才能判斷結果,可能因此多做一次資料傳輸。

  • 這次修改讓每個分片先在本地計算,再把中間結果留到真的需要完整答案時才合併。
  • 例如檢查一個布林值時,會先取得所有分片的整體結果。原本的雙 GPU 測試從 any() 需要一次資料集中傳輸,變成運算當下不傳資料,取用結果時才做一次合併。這能減少不必要的 GPU 資料傳輸,讓分散式運算更有效率。

AI 伴隨問答

自備 Key 深度分析

針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:

信源出處github.com

trunk/11b971398ac96eefe8b5d8296dabcc43092d8b6e: [DTensor] Reduce sharded any/all locally with safe partials (#204895)

本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。

開啟原文
來源: PyTorch Core Releases (github.com)
開啟原文

讀者討論

理性交流 · 即時討論