流式视频理解要求模型反复决定:现在回答,还是继续观察。Group Relative Policy Optimization(GRPO)已被用于这一设定,现有做法多强调奖励设计,却仍在各轮共用一条轨迹级优势。共享信用会在前期成功后强化冗余回复,也会在前期失败后抑制后续有用跟进。TurnWise 将学习对齐每一次流式决策,处理轨迹级反馈与轮次级交互的错位,以促进有信息量的回复并减少冗余。
问题出在信用粒度
流式交互的基本单位是轮,每一步都是开口或等待。轨迹级反馈把整段结果摊到所有轮次,前期奖励会污染后期信号。作者指出,这会鼓励成功之后的重复发言,也会让早期失误拖累合理跟进。TurnWise 不把重点放在再堆奖励,而是改信用分配的粒度,使每一轮的开口或等待拿到相对独立的学习信号。错位来自反馈粒度和交互粒度不一致。
轮次打分与轮次均权
轮次级信用使用 silence-completed prefix scoring:对当前决策的前缀做静默补全打分,再由其剩余回报构造组内相对优势,把本轮信号与更早奖励分开。某一轮该不该强化,看的是之后还剩多少回报,而不是整条轨迹总分。策略更新采用 turn-mean policy optimization,先在一轮内对 token 损失取平均,再对轮次取平均,让回复与等待权重相当,不因输出长短倾斜。两处设计互补,无需学习 critic,也无需额外 rollout。实验仅被概括为优于先前流式视频理解的强化学习方法,材料未给出基准或数值。
我的判断
问题抓得准:流式视频要学的是每一轮何时开口,而不是整条轨迹平均对错。把优势拆到剩余回报、损失按轮均权,比继续堆奖励更贴近交互结构,也保住了 GRPO 无 critic、少 rollout 的成本,对已有流式 GRPO 实现有对照价值。
材料不足处必须说清。没有任务协议、模型规模和消融数字,无法判断增益来自长视频还是短问答;“优于先前 RL”缺少可核对幅度。前缀打分是否稳定,直接决定轮次优势能否解耦。宜当作信用粒度的对照清单,不宜当成可直接复现的完整系统。