从视频中学习通用动作表示,需要同一动作在不同执行之间保持一致,同时对本体和外观变化保持不变。现有潜在动作模型多从视觉转移推断动作,表征却常常把底层动作与无关的视觉变化缠在一起,从而限制跨本体迁移。DreamX 的核心想法很克制:不另训一套动作编码器,而是把已经预训练好的视频扩散模型,直接改用作通用潜在动作学习器。
压缩与解耦
作者从视频模型丰富的时空特征中提取紧凑的潜在动作,将每一潜在视频帧压缩约 300 倍:从 1,200 个 token 压到 4 个。材料强调,借助视频模型的生成先验,这些潜在动作捕捉的是与动作相关的动态,并与视觉外观解耦。由此得到的潜在空间被当作共享动作接口,可以跨越人类与机器人等不同本体、不同环境,以及不同的动作参数化方式。
评测、迁移与策略
在 LARY-Bench 上,DreamX 在潜在动作模型中取得当前最优。论文进一步指出,一种设定下编码的动作在另一种设定下仍然有效:该潜在空间支持任意到任意的视频迁移,以及跨多样本体与环境的零样本动作迁移。同一接口还能让策略学习发生在紧凑的潜在动作空间中,从而降低基于视频扩散的策略计算成本。摘要未给出具体分数、基线名单或策略端耗时对比,「最优」与「任意到任意」均以论文自述为限。
我的判断
价值在于把视频扩散模型已有的动态先验,当成跨本体动作的公共坐标系,而不是再从帧差里猜发生了什么。每帧 4 个 token 的压缩,对视频扩散策略偏贵的问题是对症的。边界也清楚:证据停在 LARY-Bench 同类最优和摘要中的跨设定、零样本迁移;真实机器人闭环、长时程与精细操作,材料没有结果。生成先验能否丢掉外观、换本体后语义是否对齐,只能等全文。对物理 AI 和模仿学习可以跟进,但不宜把 universal 读成可插即用的动作协议。