在线强化学习配合可验证奖励,已经在数学、代码和工具使用上证明有效,但 GUI 智能体一直难跟上:交互环境成本高,真实训练任务也稀缺。MAI-Gym 把评测、数据采集和在线 RL 训练收进同一套开源平台,覆盖手机、电脑和网页,并用共享 rollout 保证评测与训练行为一致。作者据此训出统一 9B 智能体 MAI-Gym-9B,在开源、参数量低于 10B 的 GUI 智能体中报出目前最好成绩。
平台做了什么
平台接入十个既有基准,并可扩展到 20,000 个并行环境实例。除了把规模做上去,它还提供 GUI 应用与任务的自动合成:可重置的 mock 应用、跨应用且连贯的任务世界,以及经过执行验证的任务校验器。这套设计同时针对环境成本和真实任务不足,让数据采集、评测和在线强化学习走同一条 rollout 流水线。
结果与开源内容
MAI-Gym-9B 是面向手机和电脑使用的统一 9B 智能体。论文给出的成绩是 MobileWorld 78.4%、OSWorld-Verified 76.2%,在开源、参数量低于 10B 的 GUI 智能体中达到当前最优。另一组数字来自迁移实验:在 mock 火车票应用上做强化学习后,迁移到真实对应应用,实体手机上的任务成功率从 28.8% 升至 48.1%。作者同时开源框架、合成技能、mock 应用、2,000 条已验证任务和模型权重,便于复现和继续训练。
我的判断
价值主要在工程闭环:评测与训练行为一致、环境可大规模并行、任务可自动合成且带执行校验,并给出 mock 到真机的迁移证据。适用边界很清楚,这是 GUI 操作智能体的评测与在线 RL 平台,不是通用视觉或对话方案。材料没有展开十个基准的分项数字、训练算力、与更大或闭源系统的差距,迁移也只报告订票这一类场景;mock 应用覆盖面和任务难度分布同样未知。因此更适合把它当作可复现的开源基线和训练底座,而不是 GUI 智能体已经解决泛化的结论。