尽管大语言模型依赖高度非线性组件,这篇工作表明它们仍表现出一种根本的线性:当来自不同文本流的输入被线性组合时,模型输出的是各自下一词分布的叠加。作者称之为叠加线性假说。
叠加来自架构,且随预训练减弱
核心判断有两层。第一,叠加不是训练涌现出来的能力,而是 Transformer 架构的固有性质。第二,它会随着预训练推进而减弱。也就是说,模型越被训成标准语言模型,这种输入线性混合、输出分布叠加的对应越不干净。
如果这一趋势成立,会修正「更强即更非线性」的直觉:预训练在某种程度上是在破坏一种架构自带的线性。摘要没有说明测量了哪些模型、落在预训练的哪个阶段、减弱幅度有多大,因此只能记下方向,不能外推到具体规模或训练配方。
轻量微调拉回线性,引导解码拆出两路
线性变弱之后,作者用轻量微调把它大幅恢复:预测的下一词分布,与两段各自下一词分布的平均之间的散度明显下降。材料只做定性描述,没有给出散度定义、数据配比或损失设计,这里不补任何数字。
工程向的一步是引导解码:把叠加在一起的输出解开,从而在单次前向中同时生成两段连贯续写。摘要只承诺两段、连贯,没有谈质量对比和延迟,也没有说明拆解失败时会发生什么。它依赖的前提很清楚,先让叠加足够线性,解码才有机会把两条思路分开。
我的判断
价值主要在假说,而不在立刻可落地的吞吐优化。它给出一条可检验的行为约束:非线性模块堆叠之后,从混合输入到下一词分布,仍可能近似线性。对机制解释,这比只看注意力图更硬;对推理,一次前向双续写在概念上成立,但还缺实现细节。
适用边界需要写死。材料没有模型名单,没有线性混合的具体算子,没有两路以上的实验,也没有复现说明。预训练会削弱线性、微调再拉回来,说明这更像可被重新对齐的行为,而不是开箱即用的免费加速。在这些信息补齐之前,我把它当研究观察来读,而不是当解码器改造清单来抄。