扩散语言模型并不像标准扩散方法那样显式接收时间步,但这不意味着模型不知道去噪进行到了哪里。这项研究发现,去噪进度会以潜在表征的形式出现在模型残差流中,相当于模型内部形成了一只没有写进输入的“时钟”。

去噪进度可以从激活中读出

研究者使用探针分析不同层的内部激活,发现与扩散时间步相关的信号能够在多个层中被可靠提取。这说明,即使时间步没有作为显式条件提供,模型仍会根据当前状态形成关于去噪阶段的内部判断。

这一结果首先回答了“模型是否知道当前进度”的问题:至少从可解码性看,答案是肯定的。残差流中的相关信息也并非只出现在单一层,而是跨层存在。不过,可被探针读出不等于已经完整解释其生成机制,也不能单凭这一点断言每一层都以相同方式使用该信号。

低维干预能够改变模型的进度感

论文进一步识别出与推断时间步相关的低维子空间,并沿这一方向对模型进行引导。结果显示,这种操作能够系统性地改变模型对去噪进度的内部判断,并带来可预测的置信度和熵变化。相比只做相关性分析,这一步提供了更直接的干预证据:潜在时间表征不仅可以观察,也可以被操控。

作者还分析了该表征在激活空间中的几何结构,认为它具有一定的结构性与可解释性。这为理解扩散语言模型如何组织去噪状态提供了入口,也提示模型可能将看似连续的生成进程压缩到较低维的内部方向中。

我的判断

这项工作的价值,在于为没有显式时间条件的扩散语言模型补上了一块机制解释:模型可能通过内部激活自行追踪去噪进度。低维方向可被干预,也让它有机会用于分析置信度、熵与生成阶段之间的关系。

但目前材料没有给出具体模型、数据集、探针指标及对最终生成质量的影响,因此不宜把结论外推到所有扩散语言模型。潜在时钟是否稳定跨模型迁移、是否能用于实际推理控制,以及它究竟是核心计算变量还是伴随信号,仍需要更细致的实验确认。