大语言模型智能体越来越多地做长程任务。中途选哪条假设、接哪份实现,往往决定整次运行成败。作者把这种做好长期决策的能力称为智能体的品味(taste),认为它正成为工程与科研智能体的关键能力。现有基准只看端到端成败,并不测品味。他们因此构建了 Taste-Bench。
从轨迹里自动挖分叉
Taste-Bench 的题目来自智能体在工程与科研任务中的轨迹,自动构造、无需人工标注。每道题是一个决策分叉:轨迹走到某一点,多个方向可选,其中一条通向更好结果;被测模型看不到分叉之后发生的事,只能从中选择。分叉来自同一任务的并行尝试,以及单条轨迹内部的绕路。
最好也只有 59.7%,加推理预算无效
作者评估了前沿模型,最好的模型只答对 59.7%。决定性证据出现得更晚的分叉,对每个模型都更难。加大推理预算并不能提高正确率。也就是说,模型在尚未看到后果时选方向,正确率刚过半,而且多想一会儿补不回来。
品味可训练,细节被摘要截断
作者表明品味可以训练:蒸馏教师的判断,而该教师见过后续信息。摘要在此截断,提升幅度、数据与是否泛化均未知,只能记到「可训练」这一主张。
我的判断
价值在于把长期决策从端到端成功率里拆开,并用自动分叉做成可评测题,针对工程与科研智能体。适用边界窄:只衡量分叉上的方向选择,不覆盖工具使用或最终交付。「更好结果」依赖事后轨迹对比,标签受并行尝试覆盖范围限制;题目规模与领域分布摘要未给,59.7% 只是点估计。蒸馏结果被截断,不能写成已经训好。更大推理预算无效,说明品味更接近对未观测后果的先验。仅凭当前材料,它是一个有针对性的新基准,还不是已解决问题的方法。