跳到正文
PyTorch Core Releases(github.com)· liangel-02·· 4 天前品質評分55

PyTorch 修正 cuDNN 可變長度注意力反向計算的梯度錯誤

trunk/6c7b1e814850395ff605d7137d8b403a5c975cf8: [cuDNN] Match Q and dQ layouts in varlen attention backward (#205562)

重點導讀

使用融合 QKV 資料時,cuDNN 的可變長度注意力在反向計算中可能算錯梯度,影響第一份檔案之後的資料。

  • PyTorch 這次加入條件式複製:只有 Q 和梯度資料的排列不同時,才先把 Q 複製成相同排列,再交給 cuDNN 計算。文中的測試涵蓋 16 種數值案例,修正後都通過。
  • 在檔案長度差異大的測試中,保留精簡工作區並配合複製,可減少記憶體使用,部分情況也更快。不過檔案長度相同時,複製可能讓運算變慢。
  • 這是針對 cuDNN 行為的暫時處理方式,沒有修改 cuDNN 核心程式。

AI 伴隨問答

自備 Key 深度分析

針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:

信源出處github.com

trunk/6c7b1e814850395ff605d7137d8b403a5c975cf8: [cuDNN] Match Q and dQ layouts in varlen attention backward (#205562)

本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。

開啟原文
來源: PyTorch Core Releases (github.com)
開啟原文

讀者討論

理性交流 · 即時討論