视觉在线蒸馏通常依赖明确的师生不对称：教师更大、更强，或者能看到参考答案、真实感兴趣区域等特权信息。Hugging Face Daily Papers 2026 年 8 月 14 日收录的这项工作提出了一个反向思路：既然无法给教师增加额外信息，就主动减少学生能看到的信息，由此建立可用于学习的不对称。
从学生侧制造信息差
论文提出 Self-Supervised Visual On-Policy Distillation（S^2VOPD）。对于同一张图像，教师基于原始图像输出分布，学生则基于经过强增强的视图学习该分布。这样，教师保留更完整的视觉证据，学生面对受损或扰动后的输入，二者之间自然形成信息差。
这一设计不需要真实标注、奖励信号，也不要求额外准备一个独立且更强的教师模型。这里所谓“免费”更准确地说是监督信息层面的：学习信号来自同一图像的非对称视图，而不是新增加的人工答案或特权区域；视觉增强本身仍然属于训练流程的一部分。
有效增强不是越强越好
作者系统考察了较广的视觉增强设计空间，并给出三点观察。第一，不对称本身很重要：所研究的四类增强都能改善表现，而对称的自蒸馏反而会使表现下降。第二，增强强度存在合适区间，性能在中等强度附近达到峰值，并非扰动越强，蒸馏信号越有效。
第三，师生之间的差异必须保持任务一致性。如果增强彻底移除了回答问题所需的视觉证据，学生接收到的目标与自身输入就不再匹配。此时，信息差不再提供合理的学习难度，而可能变成错误或不可恢复的监督。S^2VOPD的关键因此不只是制造差异，而是控制差异。
我的判断
这项工作的价值在于重新定位蒸馏中的“不对称”：它不一定来自更昂贵的教师，也可以来自对学生输入的可控限制。对于缺少标注、奖励和强教师的视觉任务，这是一条简洁且具有可操作性的路线。
但其适用边界也很清楚：增强必须保留任务相关证据，具体强度需要随任务调整。现有材料没有提供数据集、模型规模、指标增幅及计算开销，因而还不能判断收益是否能跨任务稳定复现，也不能据此比较它与强教师蒸馏的实际效率。现阶段更适合把它看作一种有说服力的训练原则，而不是已经被充分验证的通用配方。