跳到正文
𝕏 SemiAnalysis(x.com)·· 15 天前品質評分41
重點導讀

在 DeepSeek V4.1 Flash 之後,Xiaomi MiMo 正在將其下一代模型改為因果編碼器-解碼器。HySparse2:提示只經過 49 層中的 25 層。解碼器 KV 由編碼器狀態投影。在 1M 上下文與 MiMo‑V2 比較:預填計算量減少 5 倍,KV 快取縮小 4.5 倍。 https://t.co/ZVxZ4FDCDx

AI 伴隨問答

自備 Key 深度分析

針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:

SemiAnalysis
SemiAnalysis@SemiAnalysis_
·15 天前
𝕏

After DeepSeek V4.1 Flash, Xiaomi MiMo is moving to a causal encoder-decoder for its next-gen models.

HySparse2: prompts run through only 25 of 49 layers. Decoder KV is projected from encoder states.

At 1M context vs MiMo-V2: 5x less prefill compute, 4.5x smaller KV cache. https://t.co/ZVxZ4FDCDx

推文來源 · X (Twitter)在 X 參與討論

讀者討論

理性交流 · 即時討論