视觉智能体的后训练,常见两条互补路径:智能体强化学习,以及多教师的 on-policy 蒸馏。二者并不互斥,但工具一旦进入闭环,就会咬出一组相关故障:模型可能忽略工具返回的有用观察;接地不足的动作,又会让后续蒸馏拿不到足够证据。Reframe 的处理方式是把观察状态本身当作对齐对象,而不是只对齐输出分布。两个阶段都不需要任务特定的监督微调冷启动。

先训练会用证据的空间与时间专家

第一阶段称为 Ground-Drop-GRPO。它分别训练空间专家与时间专家,使用证据感知奖励,并在训练中随机去掉原始视觉输入。目的是迫使模型去获取接地证据,并真正使用工具返回的观察,而不是继续依赖可能被拿掉的原图或原视频。摘要中的消融写明:相对只看最终结果的 GRPO,该设计提高了观察依赖和工具收益。材料没有给出具体数值,只能视为方向性结论。

再在蒸馏中途修复被污染的观察

第二阶段称为 Observation-Gated-MOPD。它在一次 rollout 中途,把有缺陷的工具动作替换成规范动作,然后从修复后的观察继续蒸馏。逻辑很直接:差动作会污染后续观察,观察坏了,on-policy 蒸馏对齐的就是错误状态。两阶段被设计成互补——先学会依赖工具返回的观察,观察修复才更可能转化成策略收益。作者报告在十四个图像与视频基准上,该方法优于 Mix-RL 与普通多教师蒸馏。基准清单、分数差和失败案例,摘要均未给出。

我的判断

问题定义是清楚的。视觉工具智能体的瓶颈,经常不在会不会调用工具,而在调用之后是否把返回结果读进后续推理,以及动作是否接地。把观察状态纳入对齐,比单纯混合强化学习或只做输出蒸馏,更贴这个闭环。

适用边界必须留白。摘要没有模型规模、工具种类、规范动作如何构造、训练开销,也没有增益幅度。随机丢弃原始视觉输入,会不会伤害无需工具的题目,材料没有讨论。两阶段流水线更重,工程稳定性未知。对开发者,更值得带走的是这条因果链:先提高观察依赖,再修复被污染的观察。在未见全文数字之前,不宜把「优于两种基线」读成已经可直接套用的通用后训练标准。