代码智能体解决仓库 issue,靠的是一长串探索、编辑和验证。这些轨迹正在变成后训练数据,采集方式会塑造模型学到什么。常见做法是对每个 issue 独立采样多条轨迹,再做选择或整理。材料指出一个直接后果:独立采样越多,后面的轨迹越冗余;而更早的轨迹本可以提示后续采集力气该花在何处。如何把历史用上、又不让模型学会依赖历史,是采集设计的核心张力。
不要把历史当成测试时没有的建议
把已有轨迹当作建议暴露给智能体,看起来能用上历史,但训练时依赖这些建议、测试时又没有,会造成训练—测试错配。SWE-Trail 的主张是:历史只用来指导「在哪里继续采集」,「生成什么」仍由代码智能体在普通上下文中决定。历史留在采集器一侧,不进入智能体上下文。
采集器选落点,智能体提动作
一次新的 rollout 中,SWE-Trail 先用历史识别一个「追加采集可能有用」的状态。到达该检查点后,智能体仍从常规上下文提出若干候选下一步;采集器从同一检查点短暂执行这些候选,再决定哪条路线继续。智能体始终看不到历史建议,分叉选择发生在采集层。换言之,历史改变的是采集预算的分配,而不是智能体当步能看到的信息。
用学生模型评价采集方法
作者用各方法产出的轨迹训练学生模型,以此评价采集策略。摘要提到一个从 Ling-3.0-flash 初始化的 124B 学生,但材料在此处截断,具体分数与对比结论无法从给定信息中确认。能确定的评价口径是:看轨迹训出的模型,而不是只看轨迹表面是否多样。
我的判断
这篇工作把「用历史」拆成采集调度,而不是提示词增强,针对的是代码智能体后训练里一个真实的数据问题:独立重采会浪费预算,把历史喂进上下文又会污染策略。对正在为仓库级智能体堆轨迹的团队,这个拆法值得参考。适用边界目前只能写保守:材料未给出完整实验结果,也未说明状态如何定义、短暂执行的开销、以及在更小模型或非仓库任务上是否成立。独立采样在低预算下是否已经够用,现有摘要无法判断。在结果补全之前,宜把它当作一种采集设计思路,而不是已经验证的训练配方。