大语言模型正被越来越多地部署成多步决策智能体,但换到未见环境时往往迁移很差。世界模型方法通过训练智能体预测未来观测来应对,代价是额外训练,以及规划时预测误差会层层叠加。这篇工作指出,对数字环境中的 LLM 智能体而言,大量世界知识已在预训练阶段内化,问题从获取知识转向如何把它挤出来。

单目标监督容易养成表层习惯

作者认为,典型后训练几乎不提供这种挤出压力。在每个访问过的状态上,监督往往只对应单一目标,策略因此容易依赖表层的上下文习惯,或与该目标绑定的相关性,而不必真正理解状态与动作的后果。对已经在预训练中见过大量数字环境规律的模型来说,这种监督结构会让世界知识继续躺着不用。

固定状态、换目标再给动作排序

EVOKE 是一种后训练方法,用同一状态下的目标多样性来补上压力。重点是改后训练压力,而不是再预测观测。它把环境状态和交互历史固定住,对同一组候选动作,在不同目标下分别排序,迫使动作偏好随目标改变。理论动机是:一个能在多样目标上胜任的智能体,其动作偏好中必须编码可恢复的世界模型。只靠上下文习惯或单目标相关的策略,无法在目标切换后给出正确排序,于是预训练世界知识被隐式调用。作者在三个骨干、多样任务上评估,报告任务表现、未见环境泛化与数据效率均有提升。摘要未给出具体数字与基准名称,这里不作外推。

我的判断

把「再训世界模型」改写成「用目标多样性挤出已有知识」,对数字环境里的 LLM 智能体是一个干净的问题重述,方法也比显式预测观测更贴合语言模型按目标排序动作的形态。适用边界应先限定在预训练已覆盖较多规律的数字环境,以及可以构造多样目标、并对同一状态做动作排序的设置。局限同样清楚:摘要没有报告提升幅度、计算开销、替代目标如何生成,也未说明离开数字环境是否还成立;给定材料还不完整。在看到完整实验设定之前,更适合把它当作后训练目标设计的一条思路,而不是已经可落地的通用配方。