MiniMax M3 如何打造：稀疏注意力與原生多模態 — Olive Song

MiniMax 的強化學習研究員 Olive Song 指出，MiniMax M3 是首個同時具備三項能力的開放規模模型：頂尖的程式編寫與代理（agent）表現、100 萬 Token 的上下文視窗，以及從零開始的原生多模態訓練。Song 這場 14 分鐘的演講，是對 MiniMax 如何打造這個模型的技術拆解——整集節目的主軸放在 MiniMax 稀疏注意力（MiniMax Sparse Attention，MSA），也就是讓長上下文成本變得可負擔的架構，以及一連串訓練策略實驗，這些實驗讓 MiniMax 決定從第一個 Token 就同時用文字與影像訓練，而不是把視覺能力硬接到一個已經訓練完