电影级视频生成同时要求两件事:输入往往稀疏、不是逐帧给定,模型必须做时序推断;控制还要能分开角色、场景、动作和镜头。多模态大语言模型(MLLM)常被当作这两类先验的来源,但论文认为表征对生成并不自动可用。Video Diffusion Transformer(DiT)可以走原生条件通路,把MLLM隐变量晾在一边;即便接上,也不保证因子感知控制,更不保证有限输入下的预测与生成目标兼容。作者提出Factor-Aware Predictive Learning(FAPL):先把有效使用MLLM隐变量设成共享前提,再用互补学习信号分别打控制和预测。
隐变量进不去,后面都落空
第一阶段称为latent-only generator grounding。MLLM与连接器冻结,只训练DiT,迫使生成器依靠MLLM隐变量完成生成。意图是堵住原生条件通路的捷径,先解决「用不用」。论文把它当作后两步的公共地基。若生成器不读这些隐变量,因子级编辑和稀疏时序推断没有附着点。
成对因子与两种观察
第二阶段做因子感知控制。成对视频给出监督:某一目标因子改变,非目标因子保持。训练用factor-span replacement,让DiT在输出中实现这种关系。控制对象写成角色、场景、动作和镜头。
第三阶段做时序推断。纯文本观察与「文本加完整视频」观察共享同一个视频目标。DiT先训完再冻结,MLLM与连接器通过冻结的生成器来优化。有限输入侧的表征按生成结果来学;完整观察下的重建作为互补训练模式保留。摘要在实验句处截断,材料中没有基准名、指标或增益数字,不能写成量化领先。
我的判断
FAPL把一个常见偷懒写成可训练目标:接上MLLM不等于生成器在用它。三阶段分工清楚——接地、因子替换、有限输入预测——比一口吃成端到端更可追问每一步在优化什么。对需要镜头与角色解耦的电影级设定,问题定义是对口的。
适用边界也窄。它依赖成对因子视频和完整视频观察,数据从哪来、多贵,材料没说。冻结与解冻交替是否稳定、连接器会不会成为信息瓶颈,同样未知。实验表述截断,基线与失败案例看不到。现阶段只适合当作让MLLM隐空间对Video DiT起作用的训练配方来读,不宜当成已经可按效果表选型的系统。