PyTorch 效能分析（第三部分）：Attention 機制分析

本文介紹了在 PyTorch 效能分析系列中如何對 Transformer 架構核心的 attention 機制進行剖析。

文章通過對比原生 attention 與使用 masked_fill_ 等原地操作的程式碼，展示瞭如何通過單行修改消除 GPU 上的記憶體複製（Memcpy）kernel。