电子游戏同时要求视觉理解、指令拆解、目标规划,以及跨越多个时间尺度的精细操作,因此常被看作可量化的 AI 测试场。现有数据与基准却往往游戏覆盖窄、缺少语言指令,或依赖方差很高的在线 rollout。GameHorizon Suite 把数据与评测放进同一套件,按不同时间尺度衡量多种模型家族的游戏能力。
三件套:标注、数据与双轨基准
套件分三块。GameHorizon-Annotator 是可扩展的自动标注管线,用于生成多时间尺度指令。GameHorizon-Data 被作者称为首个大规模 AAA 游戏对局数据集:视频、玩家动作与多尺度指令时间对齐,来自 21 款游戏、100 名人类专家玩家、合计 5000 小时录制。GameHorizon-Bench 提供可复现的离线测试和逐步在线测试。离线轨用数千道标准化题目,组织成三项主任务及一系列诊断变体;在线轨检验离线分数是否对应真实游玩能力,并把长程对局中的失败定位到具体步骤。
评测规模已知,结论材料未给
作者对 47 个模型进行了超过一百万次调用。给定摘要在揭示结果处截断,没有报告分数或排名,也未说明离线与在线是否一致。能确认的只是评测面向多种模型家族、区分时间尺度,并用在线轨做失败定位。其余发现不应补写。
我的判断
价值首先在协议:把多时间尺度指令、时间对齐的视频与动作、离线加逐步在线放进同一套件,针对覆盖窄、无指令、在线方差大这三类问题。5000 小时、21 款 AAA、100 名专家玩家,量级对训练和诊断有意义。局限同样清楚:材料未说明游戏类型分布、动作空间如何统一、自动标注质量,也未定义三项主任务;在线轨能否压住随机性,摘要没有证据。读到全文前,它更适合被当作待验证的数据与评测协议,而不是已经定性的能力结论。