后训练模型再拿新数据做监督微调，常会泛化变差并出现灾难性遗忘。常见判断因此变成：持续学习必须以在策略训练为前提。但带新知识或新能力的数据，实践中往往是离策略的。把离策略数据转成在策略信号的在策略自蒸馏，又被指出会引发推理崩塌。这篇论文主张相反方向：离策略合并优于在策略自蒸馏，配方叫 grafting。
信号有用，更新会打架
作者的拆解很具体：监督微调能从新数据学到有用信号，但把更新直接加到后训练模型上，会干扰已有能力。失败不在「没学到」，而在更新的学习位置和施加方式。材料没有给出干扰幅度，只支持到这一机制判断。
Grafting 改的是位置和强度
配方有三步。第一，在更早的 donor 检查点上学习更新，理想情况下甚至早于预训练结束，再把权重更新接到后训练模型。第二，缩放该权重更新，等价于一种模型合并。第三，当新数据分布远离后训练模型时，可选屏蔽最敏感的更新方向。摘要未给出缩放系数、掩码规则和检查点选取标准。
讨论覆盖三类设定：从专家轨迹蒸馏；用 STaR 与 Pedagogical RL 做自我改进；在预训练截止之后注入知识。论文称 grafting 在这些持续学习设定上 Pareto 占优。该句在材料中截断，未列出完整基线与指标，不能写成已量化的胜出幅度。
我的判断
它把「持续学习必须在策略」拆开了：离策略数据可以提供有用信号，真正要管的是对旧能力的干扰。检查点迁移、缩放合并、敏感方向屏蔽，都是权重侧可操作的思路，比再搭在策略蒸馏流水线更轻。对已经后训练、又只能拿到离策略新数据的场景，问题提得准。若手头没有更早检查点，摘要也未给出替代的学更新位置。
局限同样硬。目前只有摘要，不见模型规模、任务表和遗忘曲线，也不知道 donor 要早到哪一步。推理崩塌是作为既有观察引入的，本文未复述实验。分布很远时掩码是否稳，没有证据。读完全文之前，不宜把 Pareto 占优当成可上线结论，更不宜外推到摘要未覆盖的智能体场景。