长上下文推理中,分块 KV 缓存压缩以固定步长把连续词元窗口压成更少的缓存条目,用来降低显存和注意力开销。这样做还会引入一个新的位置坐标:相位,也就是词元相对压缩窗口边界的位置。同一条信息在某个相位上容易检索,在另一个相位上却可能很难。作者把这种周期性起伏称为相位敏感。在采用此类压缩的大型开源权重模型上,长上下文检索准确率在不同相位之间最多可相差 40 个百分点,平均基准分数会掩盖这些周期性弱区。
从开源模型到从零预训练
相位是相对窗口边界的偏移,不是绝对位置。步长固定后,信息落在窗口哪一段会系统性改变可检索性。作者在大型开源权重模型上观察到最多 40 个百分点的相位差距,又从零预训练一组覆盖多种 KV 压缩设计的 Transformer,并在变体中复现相位敏感。该现象更像分块压缩的结构后果,而非某一实现的偶然。
注意力按相位分工
自训模型上的因果干预显示存在相位特化:不同注意力组件对来自不同源相位的信息贡献不对称。模型并未均匀学会在任意窗口位置同等取出信息,而是把检索能力按相位拆开。对理想化检索模型的分析表明,梯度流动态可能偏好尖锐的相位特化,训练会强化这种不对称。因此,评估分块 KV 缓存压缩模型必须跨相位测量,高平均准确率可以与系统性位置失败并存。
我的判断
价值在于指出一条被均值掩盖的失败轴。分块压缩省显存和注意力,同时让检索随相位周期性变弱;平均分数高,并不保证关键信息放在任意窗口位置都稳。材料最硬的数字是开源大模型上最多 40 个百分点的相位差,机制侧是自训可复现、干预指向特化、梯度流可能偏好尖锐特化。文中没有模型名单、步长、任务细节或缓解实验,不宜外推到所有 KV 压缩,也不宜写成可落地修复。更稳妥的用法是评测要求:报告均值也要报告相位。缺少相位曲线时,对长上下文可用性应更保守。