近期视频超分(VSR)模型通过扩散蒸馏实现高效一步生成,但高分辨率推理成本仍高,且蒸馏模型难以对齐人类偏好。FlashVSR+从架构与训练两端同时改进,兼顾效率与偏好一致性。

混合注意力架构

预训练VSR模型表现出强局部性。FlashVSR+据此引入混合注意力:保留局部高效计算,同时用稀疏全局交互维持长程一致性。该设计相对DiT最高可达2倍加速,峰值内存降低约45%,从而在单张24GB RTX 4090上实现空间无分块的4K VSR推理,显著缓解高分辨率部署瓶颈。

Ry-DMD偏好对齐蒸馏

训练侧提出Reward-Yield Distribution Matching Distillation(Ry-DMD)。它通过奖励加权的教师rollout,将黑盒奖励纳入分布匹配,无需对奖励模型反向传播,实现偏好对齐的一步生成。作者还表明该方法可泛化到文本到图像(T2I)生成。整体上,FlashVSR+在修复质量上更强,高分辨率效率明显提升,并在用户偏好上获得一致增益。代码、模型与训练数据已公开。

我的判断

FlashVSR+把局部性先验做成可落地的混合注意力,再配合不依赖奖励反传的蒸馏,对一步VSR的实用化有直接价值,尤其适合显存受限的高分辨率场景。边界在于材料主要报告加速、内存与偏好增益,未展开跨数据集泛化细节与失败案例;Ry-DMD对奖励设计的敏感度也有待更多验证。对需要单卡4K、又在意主观质量的VSR应用,值得优先关注;若任务对长程一致性或特定域偏移要求极高,仍需结合实际数据评估。