PyTorch ROCm TopK 調整 FlyDSL,讓不同列長共用同一個核心程式
viable/strict/1795085427: [ROCm] FlyDSL TopK: Make radix row length dynamic (#205550)
重點導讀
FlyDSL 原本會為每種列長各自編譯一份 TopK 程式,列越長,程式也越大,編譯時間和快取空間都跟著增加。
- 這次改成執行時才傳入列長,讓不同列長共用程式,也減少重複展開迴圈所佔用的暫存器。以 MI350X 測試,66 種組合平均快約 1.09 倍。
- 其中 fp16、K=1024、N=262144 的最佳結果快 1.60 倍。這讓程式編譯得更快、快取需求更少,大多數測試速度也有提升。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
信源出處github.com
viable/strict/1795085427: [ROCm] FlyDSL TopK: Make radix row length dynamic (#205550)
本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。
來源: PyTorch Core Releases (github.com)
開啟原文