重點導讀
文字越長,模型處理時花的時間和資源通常也會增加。
- RecSA 把 KV cache 排成樹狀結構,讓每次查詢一層一層搜尋。
- 作者表示,查詢成本會隨文字長度以對數方式增加,且只用 32K 長度訓練的模型能延伸到 2M tokens。在 RULER 測試中,RecSA 從 131K 到 2M 都勝過比較方法。
- 處理 1M tokens 時得分為 60.5,最強基準為 40.0。單張 H200 處理 524K tokens 時,輸入階段快 3.2 倍,生成階段快 3.8 倍。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
Hao AI Lab@haoailab
·4 天前
RecSA: Million-Token Extrapolation at Logarithmic Cost 🚀
RecSA builds a tree over the KV cache and lets each query search it level by level, so the cost per query grows as O(log L) and a model trained only at 32K extrapolates to 2M tokens.
Initialized from Qwen3-4B and trained on 0.62B tokens, all at 32K, RecSA outperforms all baselines on RULER from 131K to 2M, scoring 60.5 at 1M against 40.0 for the strongest baseline (Dense + DCA). On one H200, it speeds up prefill by 3.2× and decoding by 3.8× at 524K.
Blog: https://t.co/yKpRitz8zw
Paper: https://t.co/cWiIZS40Cy
Code: https://t.co/qAFANlalhH
推文來源 · X (Twitter)在 X 參與討論
來源: Hao AI Lab (x.com)
在 X 查看推文