共计 1243 个字符，预计需要花费 4 分钟才能阅读完成。
反对 Agent, 反对 RSI, 杨立昆新模型反对当下一切 AI 叙事
导语:杨立昆 (Yann LeCun) 提出的新世界模型 H-JEPA, 把当下两条最热的 AI 叙事——Agent 与 RSI(递归自我改进)——同时放到了对立面。按照他的思路, 模型真正需要的不是更多步数、更多 token 或更多轮自我迭代, 而是在不同抽象层级上学会预测世界。
📌 H-JEPA: 在抽象空间里预测下一步
H-JEPA 建立在杨立昆此前提出的 JEPA(联合嵌入预测架构) 之上。与常见的视频生成模型不同, 它不逐像素画出下一帧, 而是把画面压缩成一组抽象向量(潜在表征), 再在这个空间里预测未来状态。可以类比为闭眼下棋: 不必看到棋盘, 只要听到“兵一进一”, 就能在脑中推演局势。
H-JEPA 的做法是把多个 JEPA 逐层堆叠。每一层都有自己的观察编码器、动作编码器和潜在预测器, 分别预测不同时间跨度之后的状态: 底层看得最近、管得最细, 上层看得更远、更宏观。规划时顺序反过来——高层先给出粗略目标, 作为下一层的子目标逐级细化, 直到最底层输出具体动作。
🔍 加层级, 比加步数更有效
- Visual AntMaze 迷宫任务中, 单层模型 LeWM 的成功率为 18%, 换成三层 H-JEPA 后升至 73%;
- Push-T 任务中, 两层表现最好, 增加到三层、四层反而下降。论文推测原因在于任务轨迹偏短, 限制了高层可用的训练数据——三层大约只能用到 LeWM 约 58% 的可迁移数据, 四层只剩约 14%。
💡 为什么反对当下 Agent 路线
主流 Agent 的思路是把长任务拆成更多步骤, 先规划、再调用工具、再检查、再重来, 用更多 token 换取更高的完成度。杨立昆的主张相反: 与其在同一粒度上不断向外扩张, 不如向上增加抽象层级。
分层之后,高层只需用很少几步决定“往哪走”, 细节交给下层, 规划的计算量随之下降。他此前也判断, 大语言模型能通过律师考试、能写代码, 却难以真正处理现实世界的复杂问题——今天既没有普及的家用机器人, 也没有 L5 级自动驾驶。
📊 RSI 为什么也入不了他的方案
- RSI 更像放大器, 放大的是模型原本就有的能力。反复改进语言模型, 提升的仍是语言能力, 多模态与推理不会因为迭代次数多而自动长出来;
- 递归改进需要可验证的判断信号, 例如代码能否通过测试、基准分数是否上升。物理世界并没有现成的评分标准——机器人把杯子推歪了该扣几分? 没有分数,“改进”也就难以衡量。
论文还提到 DROID 实验中的一个现象: 仅让模型做预测, 它会记住“这是哪个场景”, 却忽略画面中真正运动的机械臂, 被称为慢特征坍缩。研究者必须人为加入逆动力学约束, 让模型根据前后状态推断中间动作, 性能才能恢复。这说明让模型理解“动作造成什么”, 依赖的是人为设计的约束, 而非自我迭代的轮数。
🚀 看点与小结
围绕“反对 Agent, 反对 RSI, 杨立昆新模型反对当下一切 AI”，这一部分可从背景、现状与影响三个角度理解其关键信息。结合已公开内容来看，核心结论是趋势已较为明确，但细节仍需结合后续进展持续观察。
