152. 領讀Kimi K3技術報告：從架構創新聊起，注意力美學、多教師蒸餾和開源MoE

今天的節目是一集 學習播客 ，學習Kimi K3技術報告，希望和大家一起領略“技術之美”。 K3是有效擴充套件到2.8T總引數並全量開源的MoE模型。大家可能注意到，這集技術報告的領讀距離模型釋出已經過去一段時間。期間，我們試圖尋找一位合適的嘉賓，我們希望這位嘉賓的學術和工作背景非常適合講K3。最後找到孫宇濤。 宇濤目前是清華大學計算機系博士候選人，上海創智學院璞銳學者。他從博士開始的研究方向是LLM架構、預訓練，架構創新一直是他的興趣點，這正好是K3亮點之一。 宇濤透過領讀K3技術報告也串聯講解了十多篇相關論文。 他的語速非常快——前方語速預警。 OUTLINE: 02:00 宇濤的自我介紹和研究經歷，為什麼對架構創新最感興趣？ 16:05 從Kimi K3論文出發，論文講解的框架與脈絡 19:02 宇濤開始領讀論文： 1 導讀 Kimi K3將設計概括為沿sequence、depth和width三個維度擴充套件資訊流；其中depth與width本質上仍是模型容量擴充套件的兩種組織⽅式，這⼀“三維 scaling”更多是貫穿論⽂的敘事框架。 2 Model Architecture 2.1 線性注意⼒的前世今⽣ [Microsoft Research] RetNet ：最初的 data-independent decay 與 chunk-recurrent 遞迴形式 [NVIDIA] Gated DeltaNet ：引⼊ gated delta rule [Moonshot AI] Kimi Linear ：fine-grained decay及其帶來的infra變化 2.2 Gated MLA [Alibaba Qwen] Gated Attention for Large Language Models ：attention gating與訓練穩定性 2.3 Attention Residuals [Microsoft Research] On Layer Normalization in the Transformer Architecture ：Pre-LN、Post-LN與訓練穩定性 [ByteDance Seed] Hyper-Connections：殘差連線的新維度 [Moonshot AI] Attention Residuals ：以跨深度attention取代固定殘差累積，使各層選擇性聚合此前表⽰ 2.4 Stable LatentMoE與SiTU-GLU [NVIDIA] LatentMoE ：通過latent expert space降低MoE通訊與權重訪問成本 [OpenAI] GPT-OSS ：以clamped SwiGLU控制啟用值 2.5 Muon [Moonshot AI] Moonlight / Muon is Scalable for LLM Training ：更好的最佳化表現及隨之突出的 activation outlier問題 2.6 Quantile Balancing [科學空間] 《MoE環遊記：6、最優分配促均衡》 ：從最優分配推導Quantile Balancing 2.7 Native Vision 3 Pre-Training 3.1 Scaling Law [OpenBMB] MiniCPM ：WSD的訓練預算擴充套件、穩定階段復⽤、繼續訓練與提前停⽌ 3.2 Long-Context Extension [Cohere] RNoPE ：交替使⽤RoPE與NoPE，兼顧位置建模與長上下⽂檢索 4 Post-Training 4.1 Post-Training Pipeline 4.2 Reinforcement Learning [Moonshot AI] Kimi K1.5 ：提出partial rollout，通過復⽤未完成軌跡降低長CoT rollout開銷 [Moonshot AI] Kimi K2.5 ：reasoning-effort budget control 與 Agentic Generative Reward Model 4.3 Multi-Teacher On-Policy Distillation [Microsoft Research] MiniLLM ：基於student-generated samples的on-policy distillation 4.4 Deployment-Aware Post-Training 4.5 Draft Model Fine-Tuning 5 Infrastructure 5.1 Pre-Training 5.1.1 KDA Kernel [FLA] Flash Linear Attention ：KDA kernel與線性注意⼒⾼效實現 5.1.2 Distributed Training [DeepSeek-AI] DeepSeek-V3 Technical Report ：DualPipe與細粒度MoE communication–computation overlap MoE overlap的資源trade-off與cross-PP activation transfer 5.1.3 Perfectly Balanced Expert-Parallel MoE Training 5.1.4 Memory-Efficient Training [Moonshot AI] Mooncake ：Mooncake Transfer Engine與cross-PP activation remote offload 5.1.5 Multimodal Encoder Optimization 5.2 RL 5.2.1 Long-Context RL Infrastructure 5.2.2 Sandbox Infrastructure 5.3 Inference 5.3.1 KDA-Aware Prefix Cache Management 5.3.2 High-Performance Kernels 5.3.3 Fleet-Level Scheduling LINKS： 我們的播客在 小宇宙 、 Apple Podcast 、Spotify等全音訊平臺播出； 我們的影片播客在 小宇宙 、 Bilibili 、 小紅書 、影片號、抖音等全影片平臺播出； 如果你想服用文字版，請搜尋我們工作室的公眾號：語言即世界language is world。 DISCLAIMER: 本內容不作為投資建議。 CONTACT: xiaojunzhang@lisw.ai Jump into the new world-and explore with us! 😉