跳到正文

技术方向

数据与训练 最新动态

大模型是怎么练出来的:数据集构建、合成数据、预训练与后训练方法、算力与训练成本。

1 条精选近 30 天 1 条共收录 3 条

更新

数据与训练的精选

10月28日周三第 1–1 条
  1. Google Research68

    Google Research 发布睡眠框架:一种大模型持续学习的知识保留新方法

    Google Research 提出了一种名为“睡眠框架”的持续学习范式,通过在活跃交互与离线记忆巩固之间交替,使大模型能够将短期上下文转化为长期参数记忆。该框架利用 MoE 架构进行参数扩展,并通过知识蒸馏与自生成数据进行“梦境”自我优化,在保持原有知识的同时有效提升了长上下文处理、事实获取及复杂推理能力。

    推荐理由:该研究提出的睡眠框架通过模拟人类记忆巩固机制,为解决大模型持续学习中的灾难性遗忘问题提供了一种无需改变架构的参数更新方案。