强化学习已成为大语言模型后训练的核心组件，但token级信用一直缺少被普遍接受的数学定义，它与常用训练信号的关系也不清楚。该工作提出完备性、前缀一致性与中性三条正则条件，并证明它们唯一确定token级信用。这一刻画为解释现有算法中的现象提供统一基础，并指导改进的actor-critic训练流程。作者据此提出Policy Aligned Critic Training（PACT），核心是让评论家对齐更新后的策略，而不是继续在旧策略上估计优势。

Token级信用与现有训练信号

三条条件给出token级信用的唯一刻画后，若干常用算法可以被放回同一套定义上理解。On-Policy Distillation（OPD）中的理想教师充当隐式评论家，其期望策略梯度与token级信用所诱导的策略梯度成比例。响应级的REINFORCE Leave-One-Out（RLOO）虽然粒度更粗，但期望策略梯度贡献仍与token级信用一致。这并不意味着应当放弃token级分析，而是说明粗粒度信号在期望意义上可以指向同一方向。

评论家误差与Actor-then-Critic

作者还给出两个与训练直接相关的观察：在有界结果奖励下，信用近似稀疏；Generalized Advantage Estimation（GAE）中的中间评论家误差可以与底层信用相当。误差一旦与信用同量级，优势估计就会被噪声主导。PACT因此采用先更新Actor、再训练Critic的顺序，并对评论家训练施加重要性采样校正，使评论家更好地对齐更新后的策略。在智能体数学推理设定中，PACT于四个基准上取得72.87%平均准确率，相对GRPO高出8.80个百分点，相对PPO高出13.16个百分点。摘要未报告分项成绩、方差或训练成本。

我的判断

这项工作的价值在于把「token级信用是什么」收成可证明的唯一刻画，并据此调整actor-critic的更新顺序，而不是再堆一层奖励塑形。适用边界很窄：目前唯一给出的数字来自智能体数学推理的四个基准，材料没有涉及其他任务。局限也很直接——三条正则条件在所有后训练目标下是否仍然合适、重要性采样校正在长序列上的表现、以及先Actor后Critic会否带来额外不稳定，摘要均未展开。对正在做大模型强化学习的人，更值得带走的是「评论家应对齐更新后的策略」这一条检查项，而不是把72.87%当成可直接复现的绝对水平。