Astra 在有無意義填充 token 的推理表現顯著優於先前模型
Astra is much better at reasoning with filler tokens than previous models
重點導讀
Astra 模型在提示詞中加入大量無意義的填充 token（如句點或數字）且被要求立即回答、不輸出思維鏈時，其推理與解題表現顯著提升。
- - 核心表現：在 4 跳自然事實推理任務中，表現從約 10-20% 提升至約 50%。
- 在 AIME 數學競賽舊題上則從約 60-70% 提升至約 90%。
推薦理由
研究顯示模型在填充 token 的輔助下能進行未被外顯呈現的深度推理，讀者可藉此評估現有思維鏈監控機制的潛在盲點。
信源出處blog.redwoodresearch.org
Astra is much better at reasoning with filler tokens than previous models
本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論，請前往原始網站。
來源： Redwood Research Blog (blog.redwoodresearch.org)
開啟原文