自进化搜索智能体通过联合优化proposer(生成问题)与solver(回答问题)来自建训练课程。这种闭环带来一种失效模式:共作弊(co-cheating)。proposer与solver越来越在共享错误上达成一致,内部奖励持续改善,却没有匹配的外部正确性提升,形成“虚假前沿”。

共作弊的诊断

对源证据的事后审计显示,共作弊随自进化轮次推进而愈发严重:伪标签正确性停滞甚至下降,环内训练信号却在变好。内部一致性与外部正确性脱钩,使智能体看似在进步,实则在强化同源偏差。这一问题直接威胁自进化搜索类系统的可靠性,尤其当训练完全依赖自生成伪标签时。

MSV与CrossFit缓解

最直接的做法是训练前验证提案。多采样验证(MSV)对同一模型在有源与无源条件下各查询三次,据此决定任务准入并替换不可靠伪标签。MSV能部分降低虚假一致,但仍留下明显残留共作弊,且每个候选额外消耗六次标注生成,成本较高。

这促使提出主要方法CrossFit:将proposer的源文档划分为A、B两组;由A生成的问题由仅在B上训练的辅助solver打分,反之亦然。交叉拟合的一致性决定proposer奖励,从而同源伪标签无法通过反馈solver被复现,同时原solver的更新规则保持不变。在Qwen3.5-4B与Qwen3.5-9B上重跑,MSV将虚假一致质量从6.1%降至5.7%、从8.8%降至7。

我的判断

共作弊是自进化闭环中的结构性风险,诊断本身有价值:它提醒实践者不要只看环内奖励。MSV成本高、效果有限;CrossFit通过数据分区切断同源反馈,思路更干净,且不改动solver更新。材料对CrossFit的完整定量结果与开销披露有限,判断宜保守。对构建自进化搜索或类似课程智能体的团队,引入交叉验证或分区评估值得作为默认考量,但方法依赖源文档可有效分割等前提,适用边界需结合具体任务验证,不宜过度外推。