线性注意力用固定大小的关联矩阵扛上下文,长序列上的难点往往是更新本身:新关联写入时,旧信息容易被冲掉。KronLSTM 基于 Kronecker Delta Rule,给 xLSTM 家族加上记忆修订:纠正目标关联时,只沿矩阵空间的一个方向改记忆。作者称这种最小侵入修订比 delta-rule 更少干扰已存信息,因而更适合长上下文语言建模。材料来自 Hugging Face Daily Papers 收录,以下只依据摘要。
更新被限制在一个方向
Kronecker Delta Rule 是关联矩阵记忆的新更新规则,重点不在堆门控,而在约束改写范围。摘要的表述很具体:修正是定向的,记忆矩阵只沿单一方向变化。相对更铺开的 delta-rule,它试图降低对既往存储的干扰。材料未给出实现公式或与 xLSTM 变体的逐项对比,能落实的只有设计意图——少动矩阵、对准要修的那条关联。对容量固定的循环线性注意力,这把问题从状态是否够大,转到更新会不会误伤旧记忆。
稳定性与实验都还停留在摘要口径
记忆动态被写成马尔可夫链,作者称其收敛到稳态分布,且记忆矩阵的期望范数在整个输入序列上一致有界。因此 KronLSTM 不为记忆状态额外做归一化或稳定化。这是理论卖点,但摘要没有常数、速率或反例,只能记作有界性被写进规则。实验上,材料只说它与现有线性注意力(含 Gated DeltaNet 家族)竞争力相当并常常更好,长上下文基准上尤其明显。无规模、无基准名、无数字,不能外推成全面超越。代码与模型已开源,便于后续核对。
我的判断
价值在于把长上下文线性注意力收束到更新几何:只改一个方向、减少串扰,并用马尔可夫链讨论有界,而不再依赖额外稳定模块。对做 xLSTM、DeltaNet 或线性注意力的人,这是一条干净、可分析的假设。边界同样清楚:只有语言建模与长上下文的定性比较,没有速度、显存和消融数字;常常优于仍是作者口径。在完整实验可见之前,适合当记忆更新方案来跟,而不是当成已可替换现有架构的结论。