多数智能体强化学习默认单会话轨迹,交互落在一条连续累积的上下文里。推理时常用的上下文压缩和子智能体分叉,会把同一条轨迹拆成多个会话,训练假设与执行结构错位。论文把设定推广为多会话智能体强化学习,允许一条轨迹包含任意数量的会话,并提出无 critic 的分层方法 Mosaic。在 BrowseComp、Qwen3.5-4B 上,相对把轨迹级优势广播到所有会话,它在压缩与分叉场景都更好,平均会话更少。
广播优势对不上多会话结构
单会话里,优势作用在整条连续上下文上。压缩或分叉之后,轨迹变成多段。把同一轨迹级优势广播给每个会话,实现简单,但不区分各会话贡献,也不能引导一条轨迹内部该如何分配会话。论文把任意会话数写成正式设定,针对的是这种错位。
分层优化:用量进轨迹,边际贡献进会话
Mosaic 不做 critic。轨迹层把会话使用信号纳入优势估计;会话层按估计的边际贡献塑形各会话优势。摘要未说明边际贡献的具体估计算法,只能读到设计意图:更新信号要对齐「用了多少会话」和「每个会话多带来什么」。实验限于 BrowseComp 与 Qwen3.5-4B,覆盖压缩与分叉。结论是优于广播且平均更少会话;分析还指向会话效用和分配的改善,作者将其视为后续值得推进的方向。未给出具体分数。
我的判断
价值主要在问题定义:压缩和分叉已在推理中发生,继续按单会话估优势,信号粒度天然错位。用用量和边际贡献拆开两层,能解释广播为何分不清贡献、也可能浪费会话。证据很窄,只有 Qwen3.5-4B 在 BrowseComp 上对广播的比较,摘要没有幅度、开销和估计算法细节。更适合当作多会话智能体强化学习的训练设定来跟,而不是可照抄的配方。把会话效用和分配标成后续目标,比继续堆单会话算法更贴近真实系统。