扩散视频模型能产出惊艳短片,却无法可靠渲染精确公式、正确图表、规则一致的游戏,或让旁白与屏幕事件同步。另一条路线正在出现:多模态智能体编写代码,渲染每一帧并合成每一段声音。VibeVideoBench评估这类智能体:在原生环境与沙箱中运行,不使用任何图像或视频生成模型,须在一小时内交付带声音的完整MP4。
任务与评测设计
基准包含239道自包含任务,中英双语,覆盖12类,从数据故事、音乐驱动作品到课堂讲解和论文解读。评测分层且基于证据:程序化检查交付规格;约1.3万条任务专用细则,追溯到所落实的要求;每项任务锚定五个质量维度,由三组VLM评审团打分。智能体自行搭建渲染管线并检查自己的画面。
九系统结果:能力与交付分开看
九套前沿智能体、2151次计分rollout中,GPT-6 Astra与Claude Opus 5.5在评审团和人类标注上均列第一、第二。最强系统在76.3%的任务上满足全部核心要求。把缺失视频记为零会改变排名。丢失视频中四分之三是最终渲染启动过晚、过慢或从未启动,属于智能体规划这一小时的失败。
我的判断
该基准把代码驱动视频生成从观感转向规格符合与按时交付,对评估不依赖生成模型的智能体有用。76.3%核心全达标与大量规划导致的未交片,说明瓶颈同时在正确渲染和时间分配。对开发者而言,限时任务里渲染启动时机与代码正确性同样关键。摘要未给出类别拆分、开源与更多实验细节,结论不宜外推。适用边界是沙箱、无生成模型、一小时时限;与扩散模型的对比目前仅为定性。