PyTorch 修正 cuDNN 可變長度注意力反向計算的梯度錯誤
trunk/6c7b1e814850395ff605d7137d8b403a5c975cf8: [cuDNN] Match Q and dQ layouts in varlen attention backward (#205562)
重點導讀
使用融合 QKV 資料時,cuDNN 的可變長度注意力在反向計算中可能算錯梯度,影響第一份檔案之後的資料。
- PyTorch 這次加入條件式複製:只有 Q 和梯度資料的排列不同時,才先把 Q 複製成相同排列,再交給 cuDNN 計算。文中的測試涵蓋 16 種數值案例,修正後都通過。
- 在檔案長度差異大的測試中,保留精簡工作區並配合複製,可減少記憶體使用,部分情況也更快。不過檔案長度相同時,複製可能讓運算變慢。
- 這是針對 cuDNN 行為的暫時處理方式,沒有修改 cuDNN 核心程式。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
信源出處github.com
trunk/6c7b1e814850395ff605d7137d8b403a5c975cf8: [cuDNN] Match Q and dQ layouts in varlen attention backward (#205562)
本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。
來源: PyTorch Core Releases (github.com)
開啟原文