同策略强化学习已成为提升大语言模型推理能力的核心范式，但奖励稀疏会卡住训练：难题上采不到正确轨迹，优化几乎没有可用信号。已有工作用离策略示范、专家轨迹或模型生成解补信号，通常要求辅助数据与强化学习任务格式一致，实践中往往还要靠更强模型拒绝采样。RGPO不把参考解当固定模仿目标，而是按模型当前能力自适应调用真值推理作临时脚手架；引导产生更好回答后，只把更高奖励的模型自生成解迁回无引导设定，从而利用真值信息、保留探索，且不要求离策略数据同格式。
脚手架怎么进策略
RGPO针对两层摩擦：稀疏奖励给不出梯度，以及真值逐步解答与强化学习轨迹格式不一致。它把帮助生成和更新策略拆开——推理只作可调节脚手架，真正回写原设定的是经奖励筛选的模型自生成解，而不是对参考解的模仿。材料未给出调度规则与算法细节，只能确认设计意图：降低探索难度，再把能力迁回无引导的同策略设定。
实验范围与信息边界
论文在纯语言和视觉语言推理上评估，称相对RLVR基线持续提升，消融表明自适应推理引导有效。摘要在此处截断，没有数据集、模型、分数和失败案例。目前只能记下：覆盖语言与多模态，方向优于所比较的RLVR，自适应被当作关键设计；幅度、开销和稳定性未知。适用前提是训练侧已有真值推理，其格式不必匹配强化学习任务。
我的判断
把真值解改成可撤脚手架、只回传高奖励自生成轨迹，逻辑上同时处理了信号不足和格式偏移，比硬做拒绝采样更干净。语言与视觉语言都覆盖，说明不只针对纯文本思维链。
但材料没有数字、开销和失效条件，不能估计增益强度。真值推理若噪声大，脚手架可能写入错误结构。这是同策略推理强化学习的增量框架，适合已有真值推理但格式不齐的场景；是否替换现有管道，应看完整消融，而不是根据摘要定案。