决策模型用带类型的输出回答问题,例如在选项中给出选择及概率,因此同一模型可以选动作、评估已发生的动作,或给每一步打分、用强化学习教策略。以往研究主要把它当演员,用「演得怎么样」衡量价值。这篇工作问的是:演得差的决策模型,还能不能当好老师?作者在 ALFWorld 上比较三款决策模型和三款通用大语言模型的演员与评委角色,并用 JEV 在 ALFWorld 与 WebShop 上当老师。

演员被近路拉开,评委看见必经步骤

作为演员,六款模型都会被一个更容易、却不该先做的子目标拉开,偏离必须先完成的子目标。换成能看到整条轨迹的评委,同一批模型会把功劳记到朝该子目标走的步骤上。问法决定信号:问任务最终会不会成功,不如问每一步有没有帮上忙——后者才能把有用动作和没用动作分开。

差演员仍可能是好老师

JEV 作为教师,把 Qwen2.5-1.5B 策略相对 GRPO 的成功率,从 72.8% 提到 82.9%(ALFWorld),从 56.8% 提到 71.4%(WebShop)。作者认为,回合结束后再评判动作,能揭示演员决策时必须预判、当时却看不见的后果,所以演得差并不等于教不好。

我的判断

把决策模型拆成演员、评委、老师三种用法,问题清楚,也贴合长程智能体。两个环境上的提升幅度不小,但材料只给出相对 GRPO、对 1.5B 学生模型的结果,不宜外推到更开放的网页或工具场景。评委从「会不会成功」改问「这一步有没有帮助」,是可操作的细节。它提醒不要只用在线成功率否定一个模型:全轨迹、事后的评判信号可能另有用途,前提是任务里确实存在当时看不见的后果。更多规模、环境和失败案例材料未给出,判断只能停在这两个基准上。