视频世界模型让人在动态环境里转相机、往前走,但时间一拉长、视点一换,先前观测就容易对不齐甚至被覆盖。WorldCrafter 给出一块相机可查询的隐式三维感知记忆:让请求视角决定多视角证据如何压进视频生成器有限的 token 预算,而不是先做显式深度对齐再生成。作者把「记不住」首先看成压缩问题,而不是再建一套几何管线。
不靠深度对应的记忆读写
记忆编码器与姿态条件读出模块和视频生成器联合训练。去噪开始前,历史观测被压成一组固定数量、专属于目标视角的 token。材料写明不使用基于深度的显式对应:三维感知学成可按相机位姿查询的压缩,同一段历史在不同查询下读成不同 token。固定集合让记忆占用相对可控。联合训练则让记忆怎么写、生成器怎么用,落在同一目标上,避免两个模块各优化各的。
流式探索还靠时序与蒸馏
仅有这块记忆不够。论文再叠近期时序上下文,并加入少步蒸馏,以支持流式场景探索。输入可以是单张图像或文本提示。实验覆盖静态与动态场景。作者报告长时程一致性、相机控制精度有明显提升,分钟级探索中视觉质量得以保持。摘要未给出数据集、基线、指标或帧率,「明显」只是论文自述,不能写成具体分数,也不能断定已可产品化实时。能确定的是:时程被写成分钟级,相机控制被单独当作评测轴,画质被要求在拉长时不被牺牲。
我的判断
价值在于把跨视角一致性收成「有限 token 下按视角压缩历史」,查询相机进入读出,对遗忘是对症的;去掉显式深度对应,也减少对深度估计的绑定。适用边界应收紧:它服务交互式视频世界的长时程一致与相机可控,并不等于物理仿真、物体操作或开放世界无限扩展。局限来自材料——没有结构细节、开销、失败案例和可核对数字。少步蒸馏说明在意流式可用性,但延迟与画质折中未知。对做视频大模型、可漫游场景的人值得记下;对标或落地仍需全文实验表和实现。