让模型规划、批评、反思或重写答案,通常会比单次思维链生成更多文本。如果不控制这部分额外开销,准确率提升究竟来自方法本身,还是仅仅来自更多计算,就很难区分。这篇工作把问题收紧为一个直接比较:在相同实测 Token 成本下,复杂推理流程能否胜过反复采样并取最常见答案。
Token 预算如何对齐
实验比较了七种方法,使用参数规模为 1.5B、3B 和 7B 的开放模型,在两个数学基准上各测试 150 道题。研究者统计所有生成 Token,不只计算最终答案,也包括批评、反思、辩论轮次和检查过程,再让每种方法与相同实测成本下的重复采样基线比较。
全部 36 组比较都按题目配对,并使用 bootstrap 区间和多重比较校正。这样的设计比只报告单个准确率差值更严格:它不仅问谁的点估计更高,还判断差异是否足够稳定,避免把抽样波动当成方法收益。
自我检查没有带来可靠优势
结果是,没有一种方法在任何比较中可靠优于等成本重复采样;其中十组可靠更差,而且全部来自模型检查自身输出的方法。18 组自我检查比较的差异方向均为负,但这不等于每一组都达到统计显著,论文明确可靠更差的是其中十组。
Best-of-N 的结果也说明“生成多个答案”和“让模型挑答案”是两件事。在 1.5B 模型上,对八个样本直接统计最常见答案,相比交给模型自行选择,在两个数学基准上分别高出 8.0 和 11.3 个百分点。摘要同时指出,随着模型增大,不同自我检查方式的表现开始分化,选择答案不再持续造成伤害;现有材料没有给出后续完整数字,不能进一步判断其是否转为优势。
我的判断
这项工作的主要价值不是证明反思机制永远无效,而是把 Token 成本确立为推理方法评测中的必要控制变量。只与单次思维链比较,容易把额外生成预算的收益错误归因于复杂流程;重复采样应成为更有约束力的基线。
结论边界也很清楚:实验只覆盖 1.5B 至 7B 的开放模型、两个数学基准和每个基准 150 道题,不能直接外推到更大模型、非数学任务或真实智能体系统。它否定的是这些设置下的可靠优势,而不是所有形式的规划、反思与协作。