潜空间世界模型(LWM)通常按域或任务单独训练。LaLa-World把视频生成模型的语言条件接口接到JEPA风格潜空间预测上:用自然语言同时描述数值动作和视觉变化,并把未来预测器建在语言模型上,使其在解释语言条件的同时预测未来潜状态。由此可在仿真、机器人轨迹以及更广的图像与视频数据上训练同一个预测器。作者将其作为基于想象的规划基础,以及下游策略微调的初始化。
跨源训练如何成立
使联合训练成立的是两条设计。第一,数值动作与视觉变化都写成语言,异构数据才能共享一个未来预测器。第二,预测器基于语言模型,才能读懂语言条件并输出未来潜状态。相对分域、分任务训练的既有LWM,该预测器取得更高的平均MPC规划性能。加入图像和视频数据后,平均规划性能再提升,对动作措辞更稳健。
与基于RAEv2的视频生成模型基线做匹配对比时,规划性能相当,训练成本约为六分之一,规划速度快约13.9倍。材料未给出分任务分数,也未说明基线规模与数据配比。
从世界模型到策略
预训练的LaLa-World用于初始化LaLa-Policy,后者联合预测动作与未来视觉表征。摘要称其在LIBERO与RoboCasa上与Cosmos Policy有竞争力,并给出最高约5.5倍加速。给定摘要在“5.5times fas”处截断,加速对象无法从材料确认;成功率等具体指标同样未出现。对策略侧只能读到「有竞争力」这一层。
我的判断
价值在于用语言做跨域对齐,而不是再训一套像素级视频生成器来做规划。若6倍训练成本与13.9倍规划速度在全文中成立,对需要在想象中做MPC的仿真和机器人场景,这是可感知的效率差。适用边界应是动作能用语言写清、规划主要依赖潜状态而非高保真像素的任务。局限也硬:材料只有平均MPC、两个基准名称和一处截断数字,没有分域分数、语言模板消融和失败模式。把「一个预测器覆盖多域」读成已经解决本体与任务迁移,超出了摘要能够支持的范围。