现有智能体评测多假设工具集是固定的。Δτ-Bench把这个假设拆掉:独立演化的服务会不断改写任务完成方式,熟悉工具可能消失或被替换,更高效的替代方案会在功能重叠和嘈杂文档中出现。它要检验的,是智能体能否主动发现高效工具路径,并及时修正已经积累的流程知识——这两点是现有基准很少同时考察的。

六代生态里的1588个任务

该基准包含1588个经过验证的多轮任务,覆盖42个领域,并给出六代连续的生态状态。这些状态通过能力保持变换生成:任务在理论上仍可完成,但路径已经变了。对智能体而言,旧流程可能突然失效,新工具也可能更省事,但文档并不干净。作者将其称为推向移动能力边界的可执行评测。

技能学会了,生态一变就掉队

评测显示,即使最强的被测模型或harness,任务成功率也只有42.3%。现有技能学习方法的初期收益,并不能稳定转化成生态演化后的适应能力。学会一批技能,不等于下次工具换了还能改。

作者因此提出Steward,一个同时管理工具与流程知识的生态管理器:增量维护技能,并在任务执行中动态供给。实验称它能在生态变化中维持更高任务成功率、降低技能维护开销,同时改善工作流被打断后的恢复,以及采用更高效替代方案。摘要未给出Steward的具体成功率数字,这里不作外推。

我的判断

把「工具会变」写成可执行基准,比静态工具调用评测更接近真实产品环境。42.3%说明当前短板不在单次调用,而在程序性知识的更新。Steward的方向合理,但材料只有相对结论,还不能判断它离可用有多远。适用边界也很清楚:它检验的是工具生态结构演化下的适应,不是开放网页、长程代码仓库或对抗环境。作为开发者,更值得记下这个问题本身——智能体若不能改掉旧习惯,技能库会变成负债。