一步或少步文本生成图像时,模型几乎没有迭代修正机会,却仍需准确呈现提示中的细节。分布匹配蒸馏(DMD)通过分数差异拉近生成分布与参考分布。本文在此基础上提出Intrinsic Distribution Matching(IDM),保留完整DMD校正,并显式匹配特征均值与逐坐标标准差。
方法要点
作者将反向KL场分解为高斯矩分量与非高斯残差,识别可显式约束的统计量。分数差用内部速度分支估计,无需单独假分数网络。矩匹配直接使用生成器指数移动平均(EMA)副本的特征,不依赖外部编码器。整体在保持DMD监督的同时,加入矩损失以强化学习到的分数信号。
实验结果
实验在Z-Image-Turbo 6B与Qwen-Image 20B上进行全参数与LoRA微调。两步网络评估下,IDM在中文与英文LongText-Bench分别达到94.25%与90.20%,为同预算对比方法中最高。受控消融显示矩损失带来增益;生成器EMA特征在五项指标上与外部DINOv2编码器表现相当。
我的判断
IDM把矩约束内化到生成器自身EMA特征,实现简洁且无需额外编码器,对少步文生图的细节保真有明确针对性。结果集中在特定大模型与LongText-Bench,适用边界主要是已有DMD式蒸馏的少步场景。外部编码器可被内部特征替代是实用发现,但长期稳定性与更广基准上的泛化仍需更多验证。代码已开源,便于复现与跟进。