视频生成模型已能做出高保真、时间连贯的片子，但遇到需要专业知识、特定身份、物理一致性或事件顺序的提示时，仍经常对不上。VideoGen-Agent 把生成做成多模态智能体：在多轮交互中调度增强、生成和校验工具，用提示和中间观察指导决策，并以多任务智能体强化学习训练共享策略。该文收录于 Hugging Face Daily Papers（2026-09-21）。
训练：示范轨迹与类别感知奖励
共享策略在覆盖六类任务、类别均衡的数据上训练。先用教师生成的轨迹做监督微调，立住工具使用行为，再用强化学习精修。类别感知混合奖励同时评估工具调用合法性、是否匹配任务、以及视频质量。材料未给出六类任务细目、教师策略或工具清单，能确定的是：同一套策略要同时学会合法调用、按任务选工具，以及把片子做够好。
VABench：600 条留出提示
VABench 是留出基准，600 条提示，覆盖程序性知识、单实体与多实体身份保持、物理一致性、场景组合、多镜头时间结构。相对基座文生视频模型，VideoGen-Agent 从 56.5 提到 75.6，提升 19.1 分。只升级生成工具、不再额外训练智能体，分数到 86.1。人工评估中，升级配置相对最强独立基线，在 84.3% 的对比中被偏好。摘要在「These results support learni」处截断，后续结论无法核实。
我的判断
价值在于把视频生成短板写成可学习的工具编排，并用留出集和人工偏好钉住数字。升级生成工具即可再涨分、且不必重训智能体，说明策略与生成器至少部分解耦。适用边界清楚：智能体学的是调度，不是替代底层生成器；没有三类工具链就无法落地。局限是摘要未报告评分协议、工具种类、轮次与失败模式；600 条是否代表生产分布未知；84.3% 比较的是升级配置对最强独立基线，不宜读成智能体单独全面胜出。材料止于此，不做泛化或成本外推。