循环语言模型可以在测试时多跑几轮,但额外迭代并不自动帮它解更长的题。对序列状态追踪,最终答案监督没有规定每一轮该推进多远,反复更新还会改变循环状态的尺度。PAR同时处理这两点:第k次迭代的预测对齐前k个操作后的状态,并把循环状态缩放到第一次迭代的范数。Qwen2.5-0.5B在至多32步上训练,swap-S5的512步平均全状态准确率95.5%,为训练长度的16倍。

进度对齐与范数锚定

监督不再是「多跑几轮后给最终答案」,而是让第k轮匹配前k步操作后的状态,从而规定每轮推进距离。范数锚定把循环状态缩回首轮范数,抑制尺度漂移。没有中间标签时,前缀自蒸馏只用最终答案,从更短问题前缀诱导这种对应。学到的completion readout选择何时作答,无需给定停止深度。作者称收益适用于多种序列状态追踪任务,并据此给出深度外推所需的任务结构。

对照与消融

同一骨干上,RLT报55.7%,显式思维链0.8%。受控S5消融中,去掉范数锚定后外推倍数从16倍降到低于2.2倍;把进度对齐目标换成最终答案监督,外推至多8倍。材料据此支持把中间预测和状态尺度一起训练,额外循环深度才对更长问题有用。前缀自蒸馏相对有中间标签的差距、以及其他规模,文中未给数字。

我的判断

这条工作把「能多跑」和「跑了对更长题有用」拆开,消融也指向范数锚定对外推倍数影响更大。边界应收在有逐步状态、操作可计数的序列追踪;一般长上下文或无中间状态的推理,材料不支持同样结论。主数字来自0.5B与swap-S5,对照限于同骨干的RLT与思维链,覆盖仍窄。无中间标签的自蒸馏是补丁,强度不宜外推。宜视为针对特定任务结构的训练配方,而非looped LM的普遍保证。