交互式世界模型要按用户动作生成画面,真正卡住实时落地的往往不是单段视频好不好看,而是长程探索时空间还能否对上。现有路线要么依赖时间上下文,要么显式存三维记忆,两者都会随生成流变长而膨胀;显式三维记忆还常把 RGB 渲染再编码进潜空间视频生成器,这一步很难实时。L3G-World 引入潜空间三维高斯记忆(L3G),用前馈重建的效率和可快速渲染的紧凑表示,让记忆更新器与视频扩散 Transformer(DiT)自回归交替,生成空间一致的世界。
记忆随场景长,不随视频长
记忆更新器在新观察区域播种高斯、对已有高斯做精炼,三维记忆因此随场景范围增长,而不是随已生成帧数增长。每个高斯另存 VAE 潜特征,可直接渲进 DiT 潜空间,省掉 RGB 再编码。摘要称:相对各指标上最省的三维记忆基线,原语最多少 38.6 倍、更新快 3.2 倍、渲染快 359 倍,并由此做到 9 FPS 实时生成;质量与长程空间一致性亦自称当时最优。这些倍数是分指标对比「最有效基线」,不宜合成总表。摘要未给数据集、分辨率和硬件,「SOTA」只是论文表述。
条件通路少绕一圈
用户动作进入后,更新器处理新区域并修正旧区域,带潜特征的高斯直接作为 DiT 条件,再写出下一段视频,如此交替。相对纯时间上下文,一致性被放到场景表示上,更适合长程探索;相对先渲 RGB 再编码的三维记忆,省的是条件通路上的编解码。所谓无限,仍受已探索范围、高斯数量和更新器能力约束。摘要未说明场景很大、回访旧区或动作很宽时能否保住 9 FPS,也未交代失败模式。
我的判断
核心判断很硬:交互世界模型的记忆应按空间生长,条件应直接打进潜空间,而不是跟视频流一起膨胀后再绕 RGB。若渲染加速和 9 FPS 可复现,对实时交互演示是有意义的增量。但材料只有摘要,38.6 倍是「最多」,9 FPS 缺配置,几何与外观能否同时稳住、新区域如何接缝都无证据。更合适的读法是方法线索,不是可上线的无限世界引擎。适用边界宜先放在有限场景、需要长程空间一致的交互生成;外推到开放世界或机器人闭环,目前还缺实验支撑。