LoRA 已成为参数高效微调的常用方法，但如何约束其训练动态，使优化过程更稳定、更有效，仍缺少充分研究。论文提出 Normalized Low-Rank Adaptation（NoRA）：围绕 LoRA 的下投影矩阵加入规范化，并报告其在预训练、监督微调和强化学习场景中的一致收益。

从初始化动态切入

论文的出发点是 LoRA 的初始化方式。由于上投影通常被初始化为零，训练早期的优化动态主要由下投影决定。因此，作者没有增加新的可训练模块，而是直接规范化训练过程中的下投影矩阵，希望从优化起点和早期更新阶段改善 LoRA 的行为。

这一设计的意义在于，它针对的是 LoRA 本身的训练动态，而不是通过扩大低秩维度、增加参数或修改推理结构来换取效果。按照摘要给出的结果，NoRA 能够加快收敛、改善性能与训练稳定性，并缓解灾难性遗忘。相关收益覆盖预训练、监督微调和强化学习，说明该方法并非只面向单一训练范式。

初始化一次也可能有效

除训练期间持续规范化外，论文还给出一个更轻量的变体：只在初始化阶段对下投影应用相同的规范化，之后仍按标准 LoRA 训练。作者称，这种方式同样能够改进标准 LoRA，同时避免在整个训练过程中反复执行规范化。

这使 NoRA 具备两种使用路径：持续规范化更直接地约束训练动态；仅初始化时规范化则更容易接入现有 LoRA 流程。两者都不增加可训练参数，也不引入推理阶段计算，因此部署侧无需为这种改动承担额外推理成本。

我的判断

NoRA 的价值在于改动小、落点明确：它抓住上投影零初始化后早期训练受下投影主导这一特征，从初始化与优化动态入手增强 LoRA。对已有 LoRA 训练管线而言，仅初始化时规范化尤其值得优先验证，因为它对持续训练流程的侵入更低。

不过，现有材料没有提供具体模型、任务、基线设置、性能增幅或额外训练开销，尚不能判断收益规模及其对秩、学习率和不同模型架构的敏感性。“一致改善”目前应理解为论文报告的实验结论，而不是对所有 LoRA 场景的保证。实际采用前，仍需在目标模型和训练配方上与标准 LoRA 做受控对比。