软件组织里的编码智能体,不能只对着仓库改代码:它要先弄清该做什么、向谁求证、交付是否真正完成。SWE-CoWork把这一设定做成基准,包含101个真实仓库上的开发任务,覆盖11种编程语言与12个应用领域。每个任务将智能体放入模拟工程组织,面对26名职责不同、知识有界、协作行为受控的同事。智能体从一份简短交接起步,必须从同事与职场记录中找回分散需求,调和相互冲突的证据,再实现由私有可执行测试评估的改动。作者评测了11个模型,核心发现是:部分实现与完整任务交付之间存在明显落差。

能过测试,不等于能交作业

两个领先模型大约满足63%的fail-to-pass(F2P)测试,但完整完成的任务不足8%。改动可以部分通过隐藏测试,按任务整体验收则绝大多数作业仍未交付。需求层面的轨迹分析表明,失败贯穿交付全过程,而不只出现在写代码阶段。以Claude-Opus-5.5为例,各次运行中,它对被查询卡片的首次提问平均有93%指向责任人,却只获得同事所持需求的64%。被推迟的问题没有跟进;即便需求已经拿到,实现也常常不完整。

需求一次给齐,完整成功率仍不动

若一开始就提供完整需求,Seed Evolving与GPT-6 Astra的F2P大约提高16个百分点,完整任务成功率却没有变化。减少「找同事要需求」这一步,并不能把作业做成。基准还要求调和冲突证据,因此缺口同时存在于问询覆盖、证据取舍,以及拿到需求之后的实现与收尾。F2P可以改善,端到端交付仍然卡住。

我的判断

SWE-CoWork的价值,是把编码智能体从单仓库修补拉到组织内数字员工:需求分散、知识有界、协作受控、验收靠私有可执行测试。对关心智能体能否进入真实研发流程的人,完整任务成功率比F2P更值得看。适用边界应说清楚:这是模拟组织,同事行为受控,不能直接外推到真实公司的异步沟通。给定材料未展开全部模型名单与更细错误分类,结论宜保守。就已公布数字看,缺口同时出现在问询跟进和实现闭环;把需求一次给齐,也换不来完整交付。