現代 LLM 注意力機制變體視覺化指南

本文系統性梳理與盤點現代開源大模型中常見的各類注意力機制變體與混合架構，適合作為技術參考與學習資源。

• MHA 與 GQA：說明標準多頭注意力（MHA）的運作方式，並分析分組查詢注意力（GQA）如何在模型表現與 KV 快取記憶體之間取得平衡。