现有智能体基准多在任务已被写清的前提下打分:issue、规格或工单。真实客户交付不是这样。前场工程师(FDE)必须澄清模糊需求、在活系统上操作,并挖出未声明约束。FDE-Gym 把这条最后一公里做成评测:95 个端到端交付任务,来自 20 个客户场景、覆盖 18 个行业,由行业专家从真实交付项目改编。智能体在模拟客户环境中与脚本化干系人交互,并在可修改的类生产系统上交付可用方案。
它按客户指标计分,交互要扣分
评分看方案把客户自身成功指标改善了多少,归一化到 0(系统未变)与 1(参考方案)之间,并对干系人交互施加惩罚,包括消息、试运行和等待时间。作者同时提供在线平台,让人类按同一标准练习 FDE 技能。评测包含七家提供商的 13 种模型配置。
未声明约束是主要瓶颈
在必须自行发现未声明约束的现实设定中,最佳配置平均 FDE-Gym 分数为 0.56,95 项里仅 14 项被算作解决——分数至少 0.8 且无事故。没有明确指引时,模型表现急剧下降,作者将发现未声明约束视为主要瓶颈。材料也写到,信息发现本身并不能完全解释差距,但摘要在此处截断,后续对照不宜臆补。
我的判断
FDE-Gym 的价值很具体:它把「会完成写清的任务」和「能在活系统上把交付做完」分开测。0.56 的均分和 14/95 的解决率,说明当前智能体离可独立承担前场交付仍远,未声明约束是明确短板。适用边界应写死——脚本化干系人与模拟环境,不等于真实客户现场;分数依赖客户指标和参考方案,跨场景不宜直接比高低。公开摘要未给出模型名单、分场景结果,后半句又不完整,据此做产品排名不合适。对做智能体产品的人,它更适合当压力测试,提醒最后一公里仍未打通。