视觉智能体要在游戏里完成感知、长程规划和精细控制,但采集真人游戏录像成本高,从录像学习又必须反推缺失的动作。现有数据集覆盖的游戏范围有限,还常常缺少明确任务和可核验结果。Game2Player 提出让游戏环境与玩家共同开发:Builder 智能体改造现有网页游戏、暴露内部状态,并用基于状态的进度量和成功检查来定义任务;Coding Player 与 VLM Player 尝试任务、把问题反馈给 Builder 修复。这样,游玩同时承担环境验证和训练数据采集。
环境和玩家怎么互相修好
Builder 把现有网页游戏改成可检查的任务环境:暴露内部状态,用基于状态的进度量和成功检查定义任务。Coding Player 与 VLM Player 分别尝试这些任务,遇到问题则报告给 Builder 修复。论文把这一闭环称为环境与玩家的共同开发。材料没有给出循环轮次、修复成功率或人工介入比例,只能确认结果:最终得到 568 款经过验证的网页游戏和 3436 项任务。玩的过程既用来验收环境,也用来采集数据。
数据规模与训练用法
在上述环境上,作者收集了 1.57 万条轨迹,合计 307 小时对局,并留出 50 款游戏作为基准 PlayerBench。为评估这些经验能否作为训练数据,他们用进度加权的监督微调训练 VLM 智能体,对推进任务进度的步骤赋予更大权重。名为 Game2Player-9B 的模型,在 PlayerBench 上进度从 14.3% 升到 31.2%,在外部基准 GameWorld 上从 30.0% 升到 53.1%。材料未说明对照基线的具体训练设置,也未给出进度以外的指标,因此增益应按论文报告的进度数字来理解。
我的判断
价值很具体:把现成网页游戏变成带内部状态、可验证任务和可回修环境的数据来源,直接针对缺动作、缺任务、缺结果三个缺口,也比单纯依赖真人录像或无动作视频更可扩展。进度加权微调把状态进度写进训练,和任务设计是对齐的。
边界同样要收紧。对象是网页游戏,评测是 568 款中留出的 50 款,外部证据目前是 GameWorld 上的进度提升,不能外推到主机游戏、三维物理或复杂社交场景。两类玩家的能力会限制能修通、能采到的任务难度,材料未讨论这一瓶颈。PlayerBench 上 31.2% 的进度说明数据变多并不等于任务已被解决。对做视觉游戏智能体的人,这是一条「建环境、验环境、再从环境里学」的参考路径;训练细节、修复成本和失败模式仍需对照全文判断可复现性。