大模型适应常会出现目标达成、通用能力下降的矛盾。CurvDelta 把保留约束写进模型更新的参数化,而不是事后加一项正则。它在适应前模型附近分析该约束的局部几何,构造低曲率空间,使其中的参数更新几乎不改变保留损失。落地依靠 K-FAC(Kronecker-factored 近似曲率)和因子化投影;同一几何下的低秩变体是 CurvLoRA,用于更高效适应。能力学习与选择性遗忘被当作同一类带保留约束的任务。

方法能确认什么

保留约束进入更新的参数化,这是第一点。第二点是低曲率空间来自适应前模型附近的局部几何,作者称该空间内更新使保留损失几乎不变。第三点是 K-FAC 与因子化投影让构造对大模型可扩展,CurvLoRA 并不另起约束,只是低秩以提高效率。摘要未提供近似误差、投影维度或作用层级,细节只能留给全文。

评测口径要读窄

任务是数学推理、代码生成和知识遗忘。数学与代码上,方法达到有竞争力的下游表现,同时更好地保住通用能力,相对基线给出更有利的获取—保留权衡。知识遗忘主结果在 TOFU 和 MUSE:定向遗忘与知识保留的平衡优于基线,保留接近从零重训参考。摘要没有分数、模型或基线名称,所谓接近重训也未量化,不能写成已对齐重训或已消除能力损伤。

我的判断

价值在建模:把少伤通用能力做成更新空间的几何性质,而不是再堆一个损失项。这对补技能、做选择性遗忘这类需要外科式改动的场景是对症的。CurvLoRA 表明完整构造可能偏贵,低秩是同一约束下的效率折中。

局限也硬。K-FAC 近似好不好、局部几何能管多远、几乎不变是否只在很小步长成立,摘要都没有证据。评测只有数学、代码和两个遗忘基准,外推应保守。对开发者,更值得带走的是先定义要保住什么、再把更新限制在几乎不碰该损失的子空间;材料不足以支持把它当成即用训练配方。