视觉语言模型正被部署到多智能体系统中,自动化复杂的计算机使用工作流。现有基准大多假设环境一致、智能体合作;现实里子智能体常报告过时状态、发出矛盾指令,或争夺共享权限与文件,迫使智能体核对他人输出并在环境中核实地面真相。冲突评测很难:手工编写无法覆盖复杂系统,无约束生成又会出现叙事漂移、答案泄漏和无法满足的评分标准。CLASHarness 给出可控可验证的冲突生成框架,以及 600 道多轮任务。

先锁视觉事实,再编译评分器

框架将分层场景规划与八步验证微流水线结合:渲染前预先承诺决定性视觉事实,再从已执行参考轨迹编译混合代码评分器与语义评分器,保证每道任务在构造上即可解。针对的是叙事漂移、答案泄漏和无法满足的评分细则,而不是单纯堆任务。

目前只能确认的一条瓶颈

论文评估了 15 个前沿模型,称发现三类核心瓶颈。材料写全的只有第一类:子智能体输出与环境冲突时,较弱模型盲目跟随误导信息,较强模型检查视觉证据以核实地面真相。第二类与解决冲突有关但摘要截断,第三类未出现。可引用的结论仅此一条:冲突时是否核验界面视觉,区分了强弱模型。

我的判断

价值主要在问题定义:多智能体计算机使用不该默认信息一致。过时状态、矛盾指令和权限竞争是常态,只测顺利分工会高估可用性。适用边界是视觉可核验、轨迹可执行的界面任务。摘要没有完整三项瓶颈和分数,不宜当排行榜;八步流水线能否杜绝泄漏,也不能从摘要外推。更稳妥的是把它当作冲突场景生成方法,以及「先看环境再听同伴」这条假设。