重點導讀
在 DeepSeek V4.1 Flash 之後,Xiaomi MiMo 正在將其下一代模型改為因果編碼器-解碼器。HySparse2:提示只經過 49 層中的 25 層。解碼器 KV 由編碼器狀態投影。在 1M 上下文與 MiMo‑V2 比較:預填計算量減少 5 倍,KV 快取縮小 4.5 倍。 https://t.co/ZVxZ4FDCDx
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
SemiAnalysis@SemiAnalysis_
·15 天前
After DeepSeek V4.1 Flash, Xiaomi MiMo is moving to a causal encoder-decoder for its next-gen models.
HySparse2: prompts run through only 25 of 49 layers. Decoder KV is projected from encoder states.
At 1M context vs MiMo-V2: 5x less prefill compute, 4.5x smaller KV cache. https://t.co/ZVxZ4FDCDx
推文來源 · X (Twitter)在 X 參與討論
來源: SemiAnalysis (x.com)
在 X 查看推文