睡眠框架：LLM 在持續學習中保持知識的新方法
The sleep framework: A new way for LLMs to retain knowledge in continual learning
AI 導讀
睡眠框架：Google Research 提出的新學習範式，讓大型語言模型在部署後可持續學習、整合新知識並避免遺忘。
- 長上下文保持：可將短期上下文（10M 令牌）轉化為長期引數，突破傳統 4-8K 上下文限制。
推薦理由
睡眠框架讓 LLM 能在持續學習中保持 10M 令牌長上下文，並提升推理準確度；自動化睡眠階段結合自我最佳化，避免遺忘，提升多工表現。
信源出處research.google
The sleep framework: A new way for LLMs to retain knowledge in continual learning
本文為 888news AI 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論，請前往原始網站。
來源： Google Research (research.google)
開啟原文