共计 1088 个字符，预计需要花费 3 分钟才能阅读完成。
IT 之家 10 月 30 日消息, 谷歌研究团队于 10 月 27 日发布博文,
介绍一项名为“睡眠框架”(Sleep Framework)的持续 …
大模型“学完即封存”的尴尬,正在被一项新研究正面处理 。 谷歌研究团队提出名为“睡眠框架”(Sleep Framework)的持续学习方案, 把模型运行拆成“清醒”和“睡眠”两个阶段: 清醒时处理信息, 睡眠时整理记忆。团队称, 这一思路有望缓解模型知识截止、上下文信息易丢失以及微调后忘旧知识等问题。
📌 背景: 新知识难沉淀, 旧能力又怕被覆盖
当前主流大模型在预训练完成后通常进入静态部署,知识因此带有“截止日期”。如果靠上下文学习临时补充信息, 会话结束记忆也随之消失; 若直接用新数据反复微调, 又可能触发灾难性遗忘, 模型学会新内容后, 原有能力明显下滑。
核心矛盾并不复杂: 模型既要吸收新知识, 又不能让旧能力被覆盖。
🔍 核心机制: 清醒时处理, 睡眠时整理
谷歌的解法借鉴人类睡眠中的记忆巩固过程。清醒阶段, 模型接收并处理输入, 把信息暂存在短期记忆中; 进入睡眠阶段后, 模型停止处理新输入, 转向记忆整合与自我改进。
💡 记忆巩固: 把短期信息写入长期参数
按研究描述,这一环节结合参数扩展、混合专家记忆块和知识蒸馏, 目标是把脆弱的上下文信息固化到长期参数中, 同时尽量避免破坏既有知识。
📊“做梦”环节: 用合成样本反复练习
睡眠阶段还会生成并筛选合成训练样本,再借助强化学习进行练习, 以提升模型的推理与泛化能力。这里的“做梦”并非拟人化装饰, 而是对离线生成训练信号的一种形象说法。
🚀 实验表现: 长上下文与多阶段学习更稳
- 模型可处理最长约 1000 万 token 的上下文;
- 在未见语言的多阶段持续学习中, 性能下降接近零;
- 在 AIME 24/25 等数学基准上取得更高准确率。
这些结果说明,把“学习”从一次性的预训练扩展到部署后的持续维护, 至少在实验层面已有可行路径。但也要看到, 研究结论仍来自特定任务与评测设置, 不能直接等同于真实产品环境中的长期稳定表现。
🧭 影响与看点: 持续学习开始像“可运维系统”
如果这类方法继续成熟,大模型更新知识的方式可能从频繁全量重训, 转向更轻量的阶段性整理。不过, 参数扩展会带来存储与算力开销, 合成样本的质量和筛选机制也决定“做梦”是否有效。更关键的是, 模型在长期多轮学习后能否保持能力平衡, 仍需更广泛验证。
📌 总结
谷歌“睡眠框架”的真正看点,不是让 AI 模仿睡觉, 而是给持续学习设计一个离线整理窗口: 先接收新信息, 再通过记忆巩固和练习把它沉淀下来。它能否成为通用方案尚待观察, 但至少为“边用边学、不忘旧知识”提供了一个清晰的研究方向。
