缩放数据、多样性和模型容量,已经改善了物理环境中的具身学习,因为多样经验仍锚定在同一套物理定律上。这些收益能否延伸到视觉风格、动力学、操控方式和目标都彼此不同的虚拟世界,此前并不清楚。本文通过持续预训练(CPT),沿数据量、多样性和模型规模三条轴做了一组受控研究。
实验包含 120 组训练配置,覆盖四个模型规模(0.8B 到 27B)、六档数据预算(50 到 1600 小时),以及从纯 Minecraft 数据到多样多世界语料的五种混合。评估同时看三档验证损失,以及从语料内世界到未见世界的游戏对局基准。
三条轴并不等价
结果可以概括成三句话。更多数据主要改善语料内表现。多样性有助于迁移到相近世界,但对远域世界的增益有限。模型变大能提高数据效率,但在单世界训练条件下,对远域世界的泛化反而更差。
训练动态也分两段:早期是界面阶段,跨世界收益较广;后期进入世界阶段,收益收窄到语料内和相近世界。作者还拟合了一条经验缩放定律,将验证损失与数据量、多样性和模型规模联系起来。
能打本域,难打远域
在 3D 世界中,这些模型能与 Minecraft 专项模型和前沿模型竞争,并在实时设定下表现最好。与此同时,模仿学习存在上限,远域世界的差距也持续存在。摘要文本在此处截断,没有展开后续主张,因此不宜补充论文未给出的结论。
我的判断
这项研究的价值,在于把“虚拟世界能不能像物理世界一样靠缩放吃饭”做成了可对照的 CPT 实验网格,而不是再讲一个更强的游戏智能体故事。对开发者更有用的是边界图:堆数据能抬本域,混多样性能帮近域相关世界,指望单世界大模型自动打穿远域并不成立。适用场景应限制在虚拟世界、模仿式持续预训练和类似游戏对局评估;不能据此断言真实机器人、强规划或强探索任务会遵循同一规律。材料只有摘要,未披露完整实验细节、具体损失曲线和基准分数,上述解读必须保守。