共计 1140 个字符，预计需要花费 3 分钟才能阅读完成。
让机器人学会利用更长的多模态 Context
机器人能否像大语言模型一样,通过上下文快速学会新任务?随着长上下文和 In-Context Learning(ICL)在具身智能领域升温, 这个问题正从论文讨论走向创业实践。
📌 问题: 只堆数据的路线开始遇到瓶颈
过去几年,具身智能很大程度上沿用大模型的扩展思路: 扩大数据、增加任务、提升模型规模, 希望机器人在足够多的训练样本中形成通用能力。早期模仿学习、Diffusion Policy 等方法跑通后, 这一路线一度被视为自然选择。
但现实并不简单。单一任务可以通过数百条演示数据快速拟合, 真正困难的是跨任务、跨场景泛化。遥操作数据质量不一, 物体和环境覆盖有限, 也让“无限堆数据”变得成本高、效率低。
🔍 信号:One-Shot 能力成为行业新焦点
近期,Skild AI 展示的机器人基础模型 S1、Generalist AI 发布的 GEN-1.5, 都把“看一次示范后执行新任务”作为重要能力。前者强调视频上下文对未见任务表现的提升, 后者则突出无需微调、无需梯度更新的快速适配。
这类进展共同指向一个趋势: 具身智能的 Scaling 维度正在从“数据规模”扩展到“上下文利用能力”。机器人需要处理的不再只是语言指令, 而是视觉观测、动作历史、本体状态乃至人类纠正组成的多模态信息流。
💡 创业玩家: 可可矩阵押注具身 ICL
国内创业公司可可矩阵 (COCO Matrix) 成立于 2026 年 4 月, 方向是将 In-Context Learning 作为具身智能底层范式之一。其创始人高宇翔认为, 具身 ICL 不应只作为后训练阶段的技巧, 而应更早进入模型预训练体系。
与只展示单次任务适配不同,可可矩阵关注的是机器人如何理解、压缩和调用长期上下文: 一段演示视频、此前的动作记录、环境变化以及人的交互反馈, 都可能成为后续决策依据。
📊 难点: 长上下文不是简单拉长窗口
- 视觉理解:机器人既要识别物体语义, 也要掌握位置、深度、轮廓等动作相关信息。
- 多模态融合:语言、视觉、本体感知、触觉和声音的数据规模差异巨大, 难以简单对齐。
- 长期记忆:机器人需要知道几分钟前甚至更早发生了什么, 并判断哪些历史信息仍然有用。
因此, 长上下文的关键并不是把固定窗口从几十秒拉到十分钟,而是建立更接近“流式记忆”的机制。新的信息持续进入, 模型持续筛选、压缩并保留关键经验, 避免有用信息被窗口长度耗尽后直接遗忘。
🚀 结论: 具身 ICL 仍早期, 但方向值得关注
可以确定的是,行业对“机器人通用能力”的理解正在变化: 未来的机器人不只是离线训练出的任务执行器, 更可能是能在现场观察、记忆、纠错并快速适配的新型智能体。具身 ICL 能否真正跑通, 还需要更多公开实验和落地验证, 但它已经成为机器人基础模型的新赛道之一。
