共计 1249 个字符，预计需要花费 4 分钟才能阅读完成。
全球首款 ! 中国团队把游戏世界模型塞进一张 5090, 还开源了
建议按 ” 变化—原因—影响 ” 的顺序阅读。
游戏世界模型通常和「算力集群」绑定, 但昆仑万维旗下 Skywork AI 发布的 Matrix-Game 4.0 给出了另一种答案: 一张 RTX 5090, 就能实时跑起一局由 AI 生成画面、又按代码规则运行的游戏, 并且开源。
📌 单卡 60 帧, 规则是真的在跑
过去的世界模型 Demo 大多停留在「画面在动」: 按下方向键, 模型接着往下生成。Matrix-Game 4.0 的不同在于底下有一套真正运行的游戏逻辑——玩家中弹先掉盾牌耐久, 盾碎了才扣血, 血量归零游戏结束。这些结算由代码完成, 而不是模型的临场发挥。
官方给出的数据是: 实际游戏以 60 FPS 运行, 按键到画面响应不到 0.15 秒 (约 112ms), 显存峰值约 18.5GiB。画质目前为 480p。
🔍 核心变化: 把世界状态交给引擎
团队的核心判断是: 与其让视频模型隐式记忆世界, 不如让游戏引擎显式维护世界 。视频生成擅长把文字、动作和场景转成连续画面, 但如果让它同时记住世界、算清规则、还得不停出画面, 时间一长就容易失控。
于是分工被拆成三段:
- 玩家用自然语言说出想法,Coding Agent 负责把它写成游戏代码;
- 游戏引擎充当裁判, 维护世界状态、执行规则, 并输出不含材质光影的结构草图;
- 视频模型当画师, 照着草图实时补全城堡、草地、材质与光影。
这套思路被概括为 「给视频模型套上 Harness」。规则也能继续改: 想提高武器射速, 直接用自然语言告诉 Coding Agent, 底层代码一改, 攻击逻辑随之变化。
💡 三处减负, 把模型塞进消费级显卡
- 减少要猜的 : 用 UE5 制作结构画面与精细画面的成对数据, 模型只需「照着草图精装」; 系统再读取引擎提供的可见对象与实时状态, 动态拼出 Caption, 说明画面里是什么、正在发生什么。
- 减少要记的 : 基于 Wan2.2 5B Fun Control 改造出 V2V 模型, 生成时同时参考结构画面、空间记忆参考图、衔接首帧与近期历史缓存, 降低长序列跑偏的概率。
- 减少要算的 : 通过少步自回归蒸馏把去噪压到 1 至 2 步, 一次只生成四帧; 再配合 CUDA Graph、FP8 融合算子、KV 环形缓存和轻量编解码器。最终文本编码器、DiT 与 VAE 常驻单卡, 单步去噪稳态约 83 FPS, 两步约 57 FPS。
📊 与英伟达路线对照, 以及开源的分量
几乎同期, 英伟达研究团队发布 StreamRender-H3, 同样走「代码运行世界、视频模型生成画面」的路线, 但官方展示的配置是 8 张 GB200, 端到端延迟约 545ms。需要说明的是, 两者分辨率与延迟统计口径并不完全一致, 不能简单排座次; 不过单张消费级显卡能跑到这个速度, 工程意义依然明显。
🚀 值得关注的看点
开源是另一个关键动作。 世界模型赛道技术路线尚未收敛 , 多数团队开放的是产品、API 或研究演示, 真正把权重与代码交到开发者手里的仍是少数。Matrix-Game 4.0 把模型和代码一起放出, 意味着复现、换场景、改规则都能被社区直接验证。
