单轮编辑变强,并不等于多轮交互可靠。编辑结果被反复当作下一轮输入时,细小的非预期改动会累积成严重视觉漂移。常见做法是用多轮数据或跨轮 rollout 再训,可能改动预训练先验;或用推理期专用机制,但难扩到基础模型。TailSteer 选择末阶段训练:保住已有生成与编辑能力,再补多轮稳健性。

问题与既有路径

症结是循环复用带来的误差累积,而不是单轮指标不够。材料提到两条缓解路径:多轮数据或跨轮 rollout 训练,可能改变预训练先验;专用推理期机制,难以扩展到基础模型。因此需要一种尽量不重学已有能力的补丁。

尾部转向怎么做

原则很明确:早期去噪动态贴近基座模型,保真修正集中在轨迹尾部,用以抑制细粒度偏差。修正来自编辑器自身的 on-policy 去噪 rollout,未改动的源内容作为保真参考,不需要精标真值编辑对。它是末阶段训练,目标是解锁长程稳健性,而不是把生成和编辑能力再学一遍。

目前能确认的结果

实验覆盖 FLUX、SenseNova 和 Qwen 系列。摘要称,15–20 轮编辑的累计漂移被显著降低,同时在大规模文生图和单图编辑基准上,基座性能大体保留。作者据此认为长程编辑稳健性可以在 TailSteer 之后解锁。摘要未给出具体分数、开销或失败案例,对幅度应保持保守。

我的判断

价值在于把多轮抗漂移做成可后置的末阶段训练,并用“前段贴基座、尾部保真”限制对先验的扰动;自身 rollout 加未改源图,也降低了对精标多轮数据的依赖。适用面应收窄到已有较强单轮编辑能力、需要 15–20 轮循环修图的基础模型,而不是任意长程或任意难指令。局限同样清楚:目前只有摘要中的定性结论和三个模型家族,缺少可核对数值与对比细节。连续修图场景值得跟实验;单轮业务不必高估收益。