大推理模型在困难任务上表现强,但长思维链常在信息已经够用之后仍继续推演,把推理成本抬高。现有推理压缩方法多半作用在整条轨迹上,较少处理「给定当前状态,是否还需要继续推理」这一局部决策。LoCo把压缩写成局部偏好学习:从模型自身轨迹中检测过度思考候选状态,冻结对应推理前缀,从同一状态再生成更短且经过验证的续写,再用DPO训练状态条件偏好对。目标不是笼统鼓励更短轨迹,而是教模型何时继续、何时收束。

局部决策,而不是整条砍短

训练数据完全来自模型自生成的数学轨迹。流程是:检测候选过度思考状态、冻结前缀、再生更短且通过验证的续写,再在同一状态下构造偏好对并用DPO训练。偏好因此是状态条件的——同样前缀下,较短且正确的续写优于继续空转。这与直接压缩整条轨迹不同:后者可能只是整体变短,并不保证模型学会在关键节点停下来。材料没有展开过度思考状态的检测标准,也没有说明如何验证续写,只能按摘要理解为自生成、可验证、同一状态对比。

数学压缩更明显,代码是跨域迁移

评测覆盖五个数学基准和三个代码生成基准。数学任务上补全长度下降41.7%–45.4%,代码任务上下降23.4%–36.3%。准确率维持或提升,并在全部代码基准上取得最好的AUC。作者称其持续改善数学上的准确率–效率权衡。尽管只在数学轨迹上训练,方法仍能迁移到代码生成,被用来说明局部偏好学习的跨域通用性。摘要未列出基座模型、基准名称、训练规模和对比方法,跨域结论应限制在所报告的代码基准上,不宜外推到任意编程任务。

我的判断

LoCo把「想太多」从轨迹级长度惩罚改成可学习的局部停机决策,和DPO配对形式也干净。这比单纯鼓励短轨迹更对准问题本身。压缩幅度上数学大于代码,且训练只来自数学,跨域迁移是摘要里最值得盯的一点。但材料没有失败案例、检测规则和对比名单,无法判断过早停机的风险。若任务依赖长程试错,或模型已经较短,局部停机可能伤探索。在未见完整设定前,宜当作一条清楚的方法线索,而不是可直接上线的通用压缩配方。