强化学习配可验证奖励(RLVR)时,智能体经验主要被压成交互结束后的标量结果。对组相对目标而言,一组 rollout 若拿到完全相同的奖励,这个信号会直接消失,即使各条轨迹已经暴露了任务要求和失败方式。Self-Retrospection Distillation(SRD)把问题反过来问:事后经验能不能教会智能体,在行动之前本该预见到什么。
把事后轨迹蒸馏成事前预判
作者把这条路径称作前瞻学习(prospective learning):用事后经验,去监督来自「尚未交互」视角的预判。SRD 是它的实例化。完整轨迹里藏着本该有用的知识和本该避开的坑;SRD 把这份带特权的事后信息,蒸馏进同一策略、并且看不见轨迹的事前预判。预判只充当训练目标,推理时不必显式生成。
奖励拉不开时,轨迹里仍有信号
评测覆盖十项工具集成推理与长程智能体任务。SRD 补充 RLVR 与自蒸馏基线,最高提升 24.2 个百分点。这一优势在奖励对比稀缺时更突出:不同模型规模下,37% 到 98% 的 rollout 组是奖励均匀的,SRD 仍能从采样轨迹中利用学习信号。在 2B 设定中,98% 的组全失败,单独做 RLVR 训练最终成功率为 0.0%,加上 SRD 则达到 60.6%。摘要末句在对照条件处截断,未写全同一 rollout 设定的其余细节,这里不补写。
我的判断
这件事的价值很具体:它打的是组相对强化学习的结构性盲区——同奖则无可用对比——而不是再贴一层自我蒸馏的口号。适用边界也清楚:前提是轨迹过程里仍有「奖励看不出」的信息可蒸馏,且预判不必进入推理路径。局限同样明显。目前材料只有摘要,没有说明预判如何参数化、额外算力开销,以及奖励已经拉开时增益是否还稳定;2B 上从 0.0% 到 60.6% 的数字很刺眼,但不能据此外推到更大模型或全部任务。更稳妥的读法,是把它看成 RLVR 在同奖组上的补丁,而不是替代方案。摘要能锁死的只有上述设定与数字,其余以全文为准。