科学软件界面专业、对象复杂、结果必须可核验,对基于视觉语言模型的计算机使用智能体是更苛刻的考验。OSWorld-Science 做成可比较的评测环境:有科研含义的任务、基于产物的执行评估,以及对照模型与交互策略的智能体框架。材料结论直接——即便配上较强框架,当前最强视觉语言模型仍难以应对科学领域的关键问题。
评什么
该基准有 146 项高质量任务,覆盖多个科学领域与软件配置,工作流包括分子绘制与逆合成、病理图像分析、统计计算和物理仿真。任务来自专家提案与人机协同迭代设计,按科学价值和难度筛选。重点不是通用桌面点击,而是读懂专用界面、操作科学对象、交出可核验结果。
评测覆盖 12 个视觉语言模型。专用框架整合模型适配器、交互循环控制和轨迹记录,便于比较模型与交互策略。
怎么核验
评估靠任务专用的执行评估器,检查应用状态和生成产物,包括分子结构、分割掩码、图表和数值结果,并对不完整结果给部分分数。界面操作本身不够,产物对不上分数就会下来。
摘要未给出分模型准确率或通过率,不能排名。能确认的只有:当前最强视觉语言模型配上较强框架,仍难以处理科学领域的关键问题。作者还分析了多语言和推理投入等结果,但摘要在此处截断,具体差异不宜补写。
我的判断
价值在于把计算机使用智能体从会点界面推进到会用科学软件并交出可检查产物。146 项任务、部分给分和轨迹记录,适合做模型对比和交互策略实验,不能用来宣称模型已能替代科研人员。适用边界清楚:检验视觉语言模型驱动的计算机使用智能体在科学软件上的完成度,不是无界面的代码工作流,也不是领域知识深度。
局限同样明确。摘要未披露各模型分数、软件名单和通过率分布,也未说明人机共创是否偏向当前模型容易走通的路径。信息补齐前,它更适合当作难、可执行、可部分给分的科学软件基准,而不是能力清单。做科研助手时,通用电脑使用分数不够,产物级核验才是硬指标。