扩散蒸馏把预训练教师的多步迭代采样压成几次网络评估,用来加速图像和视频生成。分布匹配一类方法通过让学生输出分布贴近教师来实现这一点,但常用反向KL,其寻峰偏向会偏向教师主导模态,样本多样性容易变差。Hugging Face Daily Papers 列出的 Posterior Matching Distillation(PMD)属于同一家族,目标是把覆盖模态的后验采样与任意步生成结合起来。
方法机制
据摘要,总体损失为零时,PMD 在每个已训练噪声水平上恢复教师对干净图像的完整后验。随机学生支持在训练时间步网格内使用任意采样预算,无需额外训练。学习方式是:在固定噪声状态下,把学生样本的指数重加权平均,对齐到对应的教师后验均值。高斯腐蚀下,指数倾斜后验均值就是教师在偏移输入上的一次评估。作者证明,在开邻域上匹配倾斜均值可以唯一确定完整后验。于是 PMD 用一族均值约束监督整个条件分布,不需要辅助的学生分数网络。
实验声明
实验部分仅称:在 SDXL 和 FLUX.2 [klein] 4B 上,PMD 在两种模型的四步方法中取得最佳 FID,同时保持某种竞争力。材料到此截断,没有给出 FID 数值、对比方法、多样性指标、训练成本或视频侧结果。因此只能记下四步 FID 自称最优这一句,不能补写未出现的结论。
我的判断
把完整后验识别收成一族可计算的均值匹配,思路干净,也直接针对反向 KL 伤多样性的老问题;任意步、无学生分数网,听起来对少步生成很友好。可是当前材料几乎没有实验细节,证明还依赖高斯与开邻域,是否对真实扩散噪声、对视频、对更少或更多步同样成立,无法从给定信息判断。价值主要在分布匹配蒸馏的理论配方,适用边界和工程稳定性都还需要原文与复现来填。跟踪可以,当作已验证的最优蒸馏方案则过早。