跳到正文
𝕏 OpenBMB(x.com)·· 4 天前品質評分44
重點導讀

混合架構會同時使用迴圈層和 softmax 注意力層來學習,但兩者可能在學同一種能力時互相搶走學習訊號。

  • 清華大學的新論文提出 BLD:預訓練一開始先凍結迴圈區塊,約用掉前 10% 的 token 後再解凍,讓兩種層一起訓練。測試六種 KDA 混合架構、規模從 180M 到 1B,BLD 讓長文測試 RULER 和回憶能力都變好。
  • 在 1B 模型上,RULER 從 32.75 升到 36.04,回憶分數從 36.50 升到 38.14,LongPPL 從 7.69 降到 6.50。架構、資料和 token 總量都相同,結果顯示誰先學,會影響模型記住長篇內容的能力。

AI 伴隨問答

自備 Key 深度分析

針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:

OpenBMB
OpenBMB@OpenBMB
·4 天前
𝕏

Hybrid architectures: attention and RNN layers compete to learn the same skill 📈

New paper “Competing Learning in Hybrid Architectures” from Tsinghua:

• Competing Learning: recurrence learns retrieval first, leaving less learning signal for softmax attention

• BLD: freeze recurrent blocks for the first ~10% of pretraining tokens, then unfreeze and train jointly

• Better RULER and recall across six KDA hybrids (180M–1B)

• At 1B: RULER 32.75 → 36.04; Recall 36.50 → 38.14; LongPPL 7.69 → 6.50

Same architecture, data and token budget. Who learns first matters.

📄 https://t.co/AqLx6ixZCv
💻 https://t.co/CZ2TTX7eoN

#LLM #LongContext #HybridArchitecture #Attention #AI

推文來源 · X (Twitter)在 X 參與討論
來源: OpenBMB (x.com)
在 X 查看推文

讀者討論

理性交流 · 即時討論