Google Research·· 25 天前精选AI 评分68
Google Research 发布睡眠框架:一种大模型持续学习的知识保留新方法
The sleep framework: A new way for LLMs to retain knowledge in continual learning
AI 导读
Google Research 提出了一种名为“睡眠框架”的持续学习范式,通过在活跃交互与离线记忆巩固之间交替,使大模型能够将短期上下文转化为长期参数记忆。该框架利用 MoE 架构进行参数扩展,并通过知识蒸馏与自生成数据进行“梦境”自我优化,在保持原有知识的同时有效提升了长上下文处理、事实获取及复杂推理能力。
推荐理由
该研究提出的睡眠框架通过模拟人类记忆巩固机制,为解决大模型持续学习中的灾难性遗忘问题提供了一种无需改变架构的参数更新方案。
来源:Google Research · research.google