共计 1221 个字符，预计需要花费 4 分钟才能阅读完成。
世界模型正在从“一个人看世界”, 走向“多人共处同一个世界”。 英伟达联合清华大学、多伦多大学和 Vector Institute 提出的 Gamma-World, 试图解决多智能体场景中长期存在的结构性难题: 多个玩家或机器人如何在同一演化环境中保持视角、动作和状态一致。
📌 为什么多人世界模型更难
过去的视频世界模型大多默认只有一个智能体: 给定动作, 预测它接下来会看到什么 。但在多人场景中, 模型要同时理解多个主体的行为, 以及这些行为对共享环境造成的影响。
- 跨视角一致性: 一个智能体的移动, 需要在其他智能体视角中合理呈现。
- 交互一致性: 多人同时改变环境时, 状态变化不能在不同画面中互相矛盾。
- 可扩展性: 不能只适配固定人数, 否则很难扩展到更多参与者。
🔍 Gamma-World 的两个关键改造
Gamma-World 首先在智能体身份表示上做了调整。 团队将 RoPE 位置编码扩展出“玩家轴”, 并用正单纯形结构来表示不同智能体。简单理解, 所有玩家都被放在彼此等距的位置上, 没有谁在编码上更特殊。
这种设计的好处是, 模型既能区分不同玩家 , 又尽量保留玩家之间的对称性。材料显示, 该编码不依赖额外可学习参数, 推理时也可以从同一顶点池中启用更多玩家位置。
- 传统全连接注意力会随玩家数量增加快速抬高计算量;
- 枢纽结构把跨智能体通信压缩为“智能体—hub—智能体”;
- 这种方式也更贴近“共享世界状态”这一建模假设。
💡 三阶段训练兼顾质量与速度
为了让生成结果既稳定又能实时响应,Gamma-World 采用三阶段训练流程 。第一阶段训练可访问完整序列的双向教师模型, 用于提供较高质量的生成分布; 第二阶段训练只能看到当前与过去信息的因果学生模型, 使其适配流式推理; 第三阶段再通过条件 Self-Forcing 蒸馏, 将多步采样压缩到更少步骤。
据介绍, 蒸馏过程保留初始帧和逐智能体动作序列作为条件信号, 以减少压缩后动作可控性的损失 。最终模型在推理中可配合独立 KV cache 维持稀疏通信拓扑, 并实现 24 FPS 的实时动作响应推演。
📊 实验看点: 从 Minecraft 到双臂机器人
在多人 Minecraft 环境中,Gamma-World 与帧拼接方案以及已有多智能体世界模型进行对比 。材料显示, 它在记忆、空间定位、移动、建造和跨视角一致性等场景中取得更好结果, 关键视频生成指标 FVD 平均降幅超过 40%。
更值得关注的是零样本扩展能力: 模型只使用双人数据训练, 却能在推理时直接生成四路同步视角 。这一结果说明, 单纯形智能体编码确实有助于缓解固定玩家数量带来的限制。
🚀 行业观察:Physical AI 的新底座信号
围绕“英伟达清华团队提出 Gamma-World: 世界模型从「一”，这一部分可从背景、现状与影响三个角度理解其关键信息。结合已公开内容来看，核心结论是趋势已较为明确，但细节仍需结合后续进展持续观察。
