测试时训练(TTT)让模型在推理阶段把信息写入权重。一旦样本来自自身输出,每次更新也会改变下一个样本的生成者。本文在 128K token 长流上表明:保留自生成文本上的更新,会恶化对独立人类写作文本的预测。该失败出现在 125M、760M、3B 三套 TTT-E2E 配置中,也出现在用 Adam 更新 Qwen3-4B 已有权重时。同样的更新机制作用在真实文本上可以变好,因此问题不在写作本身。
生成器被同步更新是主因
Fixed Generation 用冻结模型生成训练块,在 125M 与 760M 上消除了超过 98% 的损害,说明主要伤害来自生成器随更新漂移。Recorded Replay 把「读到已退化文本」造成的损失,与「在其上更新并写入权重」的额外损失分开。成对的单次更新对照给出局部冲突:一次更新会更好预测它的来源,却更差预测新的真实文本。Closed Loop 适应之后这一代价会增大,少数轨迹贡献了大部分严重失败。
提交前用独立文本结算
Settlement 在提交前用独立真实文本评估候选状态。它在 125M 和 760M 上把终点均值差距留在 0.07 与 -0.02 nats,同时仍保留对真实文本的适应。作者据此主张:在保留一次更新之前,先检查它对独立证据的预测。
我的判断
这项工作把测试时自学里一个容易被忽略的闭环写清楚了:自生成反馈不只是数据变差,还会通过权重把偏移固化。冻结生成消掉绝大部分损害、结算用独立文本把关,都指向同一原则——更新能不能留,要看未见真实文本上的预测,而不是对刚才那段的拟合。材料没有给出 3B 上 Fixed Generation 与 Settlement 的对应数字,也没有讨论计算开销和延迟,因此还不宜读成可直接部署的完整方案。对长程适应、持续记忆或把输出写回权重的系统,它更像一块该提前加上的刹车,而不是对 TTT 的否定。