在用可验证奖励做大语言模型强化学习时，轨迹通常由推理引擎采样，梯度却由训练引擎计算。两个引擎会对同一批 token 给出不同概率。若在策略更新中直接做精确重要性采样，误差可能被无界二阶矩放大。这篇论文把训练与推理错配当作必须校正的对象，提出校准重要性采样（CIS）：先用有经验支持的 logit 位移刻画错配，再做置信度感知截断。
错配如何被写成位移
材料中的刻画是：错配表现为 log-odds 上的加性位移 ε_t，由 softmax 之前的逐 logit 扰动决定；该位移的分布对 token 置信度近似不变。高置信与低置信 token 都会碰到形态相近的扰动，但映成重要性比率后，高置信处同等位移更容易把比率推到极端。因此，用与置信度无关的固定比率帽去截断，并不匹配这一机制。
CIS 的截断与理论代价
CIS 把大正的位移截在同一个常数阈值上，映回重要性比率后，token 越自信，比率上限越紧。理论上，精确重要性采样中支配误差的无界二阶矩被换成有常数上界的项；代价是截掉超额带来的偏差，而偏差由被截超额控制。诊断分析表明，相对截断重要性采样，CIS 在低置信 token 上放置的截断偏差更少。摘要后半还提到对过小重要性权重做向上裁剪，但该句在材料中被截断，完整机制不宜补写。
评测覆盖的范围
实验使用三个混合专家模型和五个数学推理基准。在所比较的基线中，CIS 在三个模型上都取得五基准平均最高。材料没有给出各基准分数、基线名称、方差或训练开销，因此只能读成：在作者设定的对照里平均最优，而不是已经在全部可验证奖励强化学习设定上得到验证。
我的判断
CIS 的价值在于把两套引擎的概率不一致，从实现摩擦提升为可截断的统计量，并且截断强度随置信度收紧，比一刀切的重要性比裁剪更贴这篇论文自己的错配模型。它更适合已经分离推理引擎与训练引擎、并用可验证奖励做数学推理强化学习的团队。适用边界同样清楚：现有证据来自三个混合专家模型与五个数学基准；稠密模型、非数学任务、以及其他推理后端组合是否同样成立，材料没有说明。理论结果是二阶矩有界、偏差由超额控制，不是无偏估计，也不保证更快收敛。摘要末句不完整，小权重向上裁剪的作用无法从现有材料判断。若尚未使用两套引擎，这不是当前主矛盾；若已经在用截断重要性采样，并且观察到低置信 token 被切得过狠，CIS 提供了一个更细的校准方向。