给大模型做对齐，常见做法是模型先生成一段，人再整段改到能用。改得越多，终稿越偏离模型自己的采样分布，后面拿去构造 on-policy SFT 或偏好数据，分布就会漂。onPanda 把交互收细：阅读回复时定位第一个不合适的 token，纠正后截断其后内容，再让模型从纠正前缀继续生成，循环直到满意。以下仅依据 2026 年 9 月 21 日 Hugging Face Daily Papers 的论文摘要。
核心机制：定位、纠正、续写
标注者阅读模型回复，定位第一个不当 token，然后或从模型候选 token 中挑选替代，或自由编辑写入正确文本。系统截断该位置之后的全部生成，基于纠正前缀继续解码。这一 locate-correct-continue 循环重复，直到回复可接受。
作者称这能以较低成本精确引导输出。一项小规模对照研究显示，相对人工事后编辑，onPanda 将中位标注时间降低 52%。摘要未报告样本量、任务类型和统计区间，该数字只宜作为方向性信号。
数据形态与公开物
终稿中绝大多数 token 仍由模型生成，数据大体保留模型采样分布，适合构造 on-policy SFT 和偏好数据。过程中记录的 token 级纠正带有精确位置，并自然形成正负样本对，可作细粒度监督。工具还可连接外部工具与 harness，在真实环境中交互式标注智能体轨迹。作者同时发布用 onPanda 标注的 Panda-CVL 数据集，以及面向 token 级纠正的基准。摘要未说明数据规模、领域覆盖和评测指标。
我的判断
onPanda 把整段改写收成「改第一个错、再让模型说完」，同时覆盖对齐文本和智能体轨迹，交互定义清楚，和 on-policy 目标对齐。适用前提是标注者能稳定判断第一个不当位置；选候选 token 更贴近模型分布，自由编辑仍可能引入偏移。52% 来自小规模对照，不宜外推。Panda-CVL 与基准目前没有规模和质量数字，摘要也未报告训练后的对齐效果。更稳妥的定位是一套可复现的标注交互，训练收益仍待验证。