Transformer 如何学会归纳推理：训练轨迹可能落在低维不变流形上

Transformer 有数百万乃至更多参数，但它学会某类归纳推理时，真正决定行为的动态也许可以由少量坐标描述。一项新理论工作针对一类统一的合成归纳任务，证明注意力模型的训练可被限制在可解释的低维不变流形上。

从参数变化转向电路形成

论文覆盖上下文 n-gram、多跳推理等任务抽象。在这个受控设定里，研究者不必跟踪每个参数，而可以观察少数坐标如何变化，并据此分析模型最终形成哪一种计算电路。

框架给出三个关键视角：数据统计如何影响“从上下文临时学习”和“把规律写入权重”的竞争；不同随机初始化为何会让不同可行电路胜出；以及如何利用流形坐标自动识别训练后模型学到了哪种电路。

这类理论如果能扩展到更真实的任务，可能让数据配比与初始化不再只是经验超参数。例如，团队可以观察某个能力究竟来自提示中的示例，还是已经固化进权重；也可以更早发现模型在走向一个能拟合训练集、却不符合预期算法的捷径。

不过目前结论建立在特定任务类和注意力模型分析上，不能直接推断大规模语言模型的全部训练过程都位于同一个低维流形。开发者更适合把它当作构建诊断实验的方法，而不是现成的训练配方。

这项工作的价值是把“电路何时出现”变成可研究的动力学问题。比起只在训练结束后解释模型，它尝试在训练过程中预测哪种机制会胜出。真正的下一步是验证这些坐标能否在更深模型、自然数据和混合能力同时学习时保持稳定。