GEPA 被视作较强的反思式提示优化器,用于语言模型程序。其系统感知的 merge 算子跨模型不稳定:平均提升 gpt-4.1-mini,同时损害 Qwen3-8B。原论文记下这一不对称却未解释。本文在五个数据集、两个模型上做机制诊断,并对 merge 时机与算子做九种配置扫描,追问问题出在算子本身还是出在用法。
不稳定更像配置敏感
九种配置扫描显示:只要配置得当,merge 对两个模型都可以提升。作者据此认为,不稳定更好用配置敏感解释,而不是 merge 算子有固有缺陷。gpt-4.1-mini 受益、Qwen3-8B 受损,更可能是默认时机或默认算子与模型不匹配。材料未给出各配置分数或效应量,只能保守理解为存在可提升的配置,不能外推为普遍、稳定的涨点。
静态门控被排除,探针只做弃权
作者检验提示词层面特征能否预测 GEPA 的 merge 接受决策,结论是否定的,从而排除静态特征门控。作为概念验证,他们构造行为探针:在高风险任务上弃权、不执行 merge,从而在多随机种子实验中避开大幅度 merge 失败。该探针并不能稳定超过完全关闭 merge 的 NoMerge。代码以 GEPA-MergeProbe 发布。
我的判断
这篇工作把“跨模型不稳”推进成可复现的诊断:先扫时机与算子,再排除静态门控,再用行为信号决定是否 merge。对使用者,含义是不要默认开 merge,也不要因某一模型的负向结果就判其无效;至少按模型与任务重配。边界清楚:仅两个模型、五个数据集,探针是概念验证且未稳定优于 NoMerge。材料未提供任务清单、分数表或失败的因果机制,还不足以支撑通用调度。更稳妥的是把 merge 当成高方差开关,用弃权规则兜底,而不是默认必开。