Code2Video 用智能体编写的三维代理来引导视频生成,从而对结构和动态做显式控制。但如何构造代理与提示才能提高下游质量,以及这一范式的能力与局限,此前仍缺少系统研究。作者通过受控实验和盲测,考察代理粒度、物理仿真与提示方式,并据此提出任务自适应框架 Coda-DaVinci。
代理不是越细越好
结果显示权衡随任务变化:粗粒度代理更利于自然运动,中粒度代理更利于一致性。物理仿真,以及与代理对齐的提示,会进一步提升平均质量。材料没有提供具体分差或评测协议细节,因此这些结论应读作方向性发现,而不是已经量化的最优配方。实践上不宜固定一种代理分辨率,而要在自然运动与一致性之间取舍,并决定是否启用仿真与对齐提示。
任务自适应的多智能体框架
Coda-DaVinci 据此做成可调度系统:在代理引导生成与直接生成之间选择;按实体调整建模粒度;把物理仿真与基于代理的提示协调起来。多智能体机制负责保留场景资产,并通过视觉检查和独立审阅来指导修复。实验表明,它在 VTR 上指令遵循领先,在 R2M 上场景一致性领先;相对直接生成,物理合理性有提升;相对所比较的 Code2Video 基线,视觉真实感更高。长视频评估进一步显示,连续交互中的事件结构与一致性有收益,同时暴露转场稳定性不足、以及对场景设定的遵守仍有缺口。
我的判断
这项工作的贡献,主要是把 Code2Video 的关键选择——用不用代理、代理多细、要不要仿真、提示是否对齐——从经验口诀变成有盲测支撑的调度策略。对需要结构可控、跨镜头一致的视频生成,这条路径比纯直接生成更可解释,也更适合做成智能体工作流。适用边界同样清楚:长视频的转场稳定性和场景设定遵守仍是短板;摘要未给出分数、基线名单和失败案例分布,外部复现与横向对比的信息不足。在证据仍以相对表述为主时,不宜写成可控视频生成已被解决,更准确的是一套承认局限的任务自适应框架。