从可控视频跨到真正可玩的世界,论文把缺口写得很清楚:需要持久的世界状态、可执行的游戏规则,以及低延迟交互。Matrix-Game 4.0 是下一代 Matrix-Game 路线图上的第一套系统:用可执行的 game harness,把游戏执行和视觉生成分开。

引擎管规则,视频模型管画面

轻量游戏引擎维护世界状态并执行交互规则;多模态 coding agent 把玩家想法翻译成游戏代码和动态场景 caption;基于自回归视频模型的渲染器,把引擎画出的低多边形代理画面,在动态 caption 与 memory references 条件下转成精细视觉。框架给视觉生成提供持续引导,并支持用自然语言创建、修改场景和玩法。

材料没有展开智能体写代码的成功率、记忆引用的具体机制,也没有画质指标。能确定的只有职责划分:规则在引擎里跑,低多边形代理充当中间表示,视频模型负责外观。

实时来自蒸馏和推理优化

渲染器在对齐的低多边形与高保真视频对上训练,再蒸馏成因果生成器:按四帧一块生成,去噪一步或两步。配合针对性推理优化,系统在单块 NVIDIA RTX5090 上做到 480p、60 FPS 游玩,按键到显示延迟 112ms。单步生成稳态吞吐 83FPS,峰值显存 18.2GiB;固定 prompt 时,RTX5080 达 67FPS,RTX5070Ti 达 58FPS。演示包括可定制射击与驾驶游戏,机制由引擎强制执行。摘要在此截断,未见更长时程或一致性数字。

我的判断

这件事的价值在拆分,不在「又一个能生成游戏画面的模型」。可玩世界要的是状态持久、规则可执行、延迟可接受;把这三件事交给轻量引擎,让视频模型只做低模到高模的外观映射,比端到端生成整个世界更接近能玩。480p 60FPS、112ms 按键延迟、18.2GiB 峰值显存,把实时交互从口号落成单卡可复现的数字。

适用边界同样硬。材料只覆盖射击和驾驶两类、以及固定 prompt 下的吞吐;没有长期世界一致性、物理精度或玩家胡乱输入时的表现。四帧一块、一两步去噪,是用时序粒度和细节换速度。自然语言改玩法依赖 coding agent,成败未报。当作视频大模型接入游戏循环的工程样本有用,当作已经可替代传统游戏引擎则过早。