Language Models Need Sleep: Learning to Self-Modify and Consolidate Memories

论文总结与创新点核心问题：现有大语言模型（LLM）虽然能力很强，但它们是静态的，无法持续学习新知识。如果想强行更新，又会出现“灾难性遗忘”（即学会新东西后忘了旧的），而且代价高昂。解决方案：受人类睡眠机制的启发，论文提出了一个名为“睡眠”的学习范式。该范式允许模型在“睡眠”阶段进行自我优化，分为两步：记忆巩固：让一个较小的模型（执行者）将其短期经验，通过一种名为“知识播种”的“向上蒸馏”方法，传递给一个容量更大的模型（存储者）。这样既能保留新学到的技能，又能防止旧知识的遗忘。“做梦”：在记忆巩固后，模型利用强化学习（RL）来生成合成数据，进行自我练习和改进，这个过程不需要人工标注数据。创新点：这项研究引入了一个全新的、类似于人类“睡眠”的持续学习框架。它创新性地提出了“向上蒸馏”和“做梦”机制，让模型能够在增长容量的同时巩固记忆，并实现无监督的自我提升。实验证明，这一机制在长时任务、持续学习和少样本泛化等任务上表现出了显著的效果。📑 论文摘要（Abstract）翻译过去几十年，机器学习算法的设计取得了显著的进展——从早期针对特定任务的浅层模型，发展到更为通用的深度大语言模型（LLM）。尽管现有模型在需要即时预测或上下文学习的任务中展现出可喜成果，但它们仍缺乏持续学习的能力，且无法将时间维度上的