长程大语言模型智能体与环境交互时，动作仍按 token 逐个生成，但真正改写环境状态的，通常是一次完整的助手轮次。被 Hugging Face Daily Papers 收录的这篇工作，起点不是新的奖励函数，而是一个关于 critic 的观察：价值信号主要在轮次之间变化。作者据此主张，策略优化应锚定在轮次，同时在 token 之间保留更细的信用分配，并提出 Multiscale Policy Optimization（MPO），用多尺度优势估计与轮次级重要性采样，让信用分配和策略更新落在同一尺度。
尺度错配是核心假设
长程任务里，一次搜索、一次工具调用或一次自动化操作，往往对应整段助手输出。若 critic 价值主要随轮次波动，把优势完全按 token 切开，可能打碎轮次级信号，或在同一轮次内部过度区分。摘要动机很直接：优化锚在轮次，再在 token 间做细分。该假设是否普遍成立，材料未提供可视化或消融，只能视为方法前提。
方法公开到组件，未到公式
MPO 包含 Multiscale Advantage Estimation（MAE）与轮次级重要性采样。前者在不同时间尺度上估计优势，后者把策略更新对齐到轮次，避免更新粒度与价值结构错位。作者要的是对齐，而不是放弃 token 级分配。摘要未给出公式、超参或基线名单，能确定的只有设计意图，而不是实现细节。
实验有范围，没有幅度
实验覆盖搜索、工具使用和自动化任务，模型为 4B 与 30B-A3B。摘要称相对强强化学习基线有一致提升，但未报告分数、方差、任务数或计算成本，也未解释 30B-A3B 的结构。这足以说明方法在长程设定下被验证过，却不足以预估收益或做选型。
我的判断
MPO 把一个具体事实写进优化目标：长程智能体的决策单元更接近轮次，生成过程仍是 token。若 critic 确实主要在轮次间变化，轮次锚定加 token 细分是合理折中。它适用于多轮环境交互的搜索、工具使用和自动化；短对话或单步生成不必上这套装置。主要局限是信息不足，增益幅度、失败模式和实现成本均未知。在过程奖励与轮次级强化学习已不少见的背景下，宜看作尺度对齐的增量工作，值得相关研究者阅读，但不构成范式翻转。