Fréchet 距离正被用于生成器后训练:它从分布层面对齐真实样本与生成样本,可以补充扩散或流匹配常用的样本级损失。但这篇工作指出,直接优化此类目标可能出现“Fréchet hacking”——指定指标持续改善,视觉质量以及其他特征空间中的 Fréchet 对齐却停滞甚至退化。
问题不只在指标,而在固定特征空间
现有 Fréchet 损失通常依赖预训练且保持静态的特征空间。作者认为,这类表示只能提供固定且不完整的观察角度,生成器因而可能针对特定特征空间优化,却没有真正缩小真实分布与生成分布之间更广泛的差异。换句话说,单个指标变好并不必然意味着视觉生成整体改善;当用于计算距离的表示本身不会变化时,生成器也更容易找到该表示未覆盖的方向。
AdvFD 把特征表示纳入对抗优化
AdvFD 在原有 FD-Loss 的静态表示目标之外,加入一个经过校准、可对抗学习的表示。该表示尝试最大化真实样本与生成样本之间的 Fréchet 差异,以主动寻找当前生成分布仍未对齐的方向;生成器则在这一自适应特征空间中最小化同一个差异,由此形成最小—最大优化。
一个直接风险是,可学习表示仅靠放大特征数值就能轻易抬高目标,而不是真正发现分布差异。为此,作者引入真实特征白化,对特征尺度和协方差几何进行归一化,以限制这种平凡解并稳定对抗训练。摘要报告称,AdvFD 在 JiT 与 pMF 两类骨干、不同模型规模上,都能持续改善一步生成器的后训练效果。
我的判断
这项工作的价值,在于把“评测所依赖的特征空间是否会被生成器适配”变成训练目标的一部分,而不是继续叠加固定指标。它更适合已经具备基础生成能力、需要通过分布级目标做一步生成器后训练的场景。边界也很明确:现有材料只说明了 JiT、pMF 和不同规模上的一致改善,没有给出具体增益、计算开销、训练稳定性细节,也无法判断对更多架构或多步生成流程是否同样有效。对抗表示能否学到与人类视觉判断一致的差异,仍需结合完整实验审慎评估。