流式视频生成若能少步采样,推理成本会下降。常见做法 Distribution Matching Distillation(DMD)要另挂一张独立的 fake-score 网络来监督少步生成器,既增加训练显存和计算,还得跟踪不断演化的生成器。这篇工作把 APEX 扩到流式视频,用条件偏移在生成器内部估计生成分布的速度场,从而拿掉那张独立假网络。

条件偏移如何替代假网络

分工是条件分流、参数共用:原始文本条件选择生成,偏移后的条件选择假估计,两条路径使用同一组参数。生成与假分布的速度场估计因此不必再维护独立网络。材料同时写明,S2-Avatar 的冻结参考教师、Self-Replay Forcing 和感知正则被保留,改动集中在蒸馏监督一侧,而不是重写整条流式管线。至于条件如何偏移、偏移幅度如何选取,摘要没有展开,这里不作补全。

180秒视频上的对比数字

评测对象是 180 秒视频,每个 block 做三次 backbone 评估,再加一个一步空间 Refiner。对照包括 70 例人工研究和 320 例 StreamAV-Bench。相对 S2-Avatar,APEX 在 Progressive 轨的视频指令履行是 3.856 对 3.831,两条轨的视觉美学是 0.641898 对 0.632606。人工净偏好上,指令跟随 +30.0%,一致性和视频质量各 +4.3%;运动质量偏向 S2-Avatar,音画同步以打平为主,可用性不变。另有匹配训练设置下的单独测量:相对 DMD,每 GPU 峰值已分配显存低 4.4%,平均迭代时间短 9.2%。

我的判断

训练侧的减法比生成侧的增益更清楚。少一张假网络,显存和迭代时间有可核对的下降,同时沿用 S2-Avatar 已有组件,工程动机明确。生成质量上,指令跟随的人工净偏好幅度最大,但 Progressive 指令分只高 0.025,美学分也是小幅上移,运动质量仍弱于对照,音画同步和可用性没有拉开。材料未给方差或显著性,也未报告推理步数、端到端延迟或更长视频上的表现,不宜读成全面更好的流式生成器。更稳妥的定位是:针对 DMD 训练开销的一次条件共享改写,质量账要按分项看,不能只盯指令分。