PyTorch 將舊版 ProcessGroupNCCL 移出開源版,改用 nccl2
PyTorch 開源版原本還會建置舊版 ProcessGroupNCCL,這次更新把它移到內部程式碼,讓開源版的 ProcessGroupNCCL 改用 nccl2。舊版後端和部分 Python、C++ 介面也一併移除;需要使用相關 C++ 擴充功能的開發者,得改用新的 nccl2 標頭檔。直接建立 ProcessGroupNCCL 時,現在會依群組排名設定裝置並提早初始化通訊;若程式要使用其他裝置,就必須設定群組排名,或啟用延後初始化。