Google Research·· 4 小时前AI 评分58
Google 提出 sleep 框架，让 LLM 在持续学习中保留知识
The sleep framework: A new way for LLMs to retain knowledge in continual learning
AI 导读
Google Research 提出 sleep 框架，让 LLM 在活跃交互与离线睡眠两阶段间交替，把短期上下文巩固为长期参数。睡眠阶段通过 MoE 参数扩展、基于 GKD 与强化学习模仿的知识播种，以及随机专家激活生成合成样本的梦境自改进循环，缓解灾难性遗忘。
来源：Google Research · research.google