多奖励强化学习希望一次训练让大语言模型同时满足多个行为目标。奖励维度上的归一化能在组内保留各奖励的相对信息，但不同目标的学习进度仍可能不均。这项工作从「优势能量」切入，指出组内归一化之后仍存在批次级信号失衡，并据此提出密度感知奖励聚合方法 DARA。

优势能量揭示残留失衡

论文将某个奖励在一个批次上的有效信号强度定义为「优势能量」，即该奖励平方优势之和。在理想化的 GDPO 归一化下，这一能量与「活跃组密度」成正比：该奖励能提供非零相对优势的 rollout 组所占比例。经常在组内拉不开差距的奖励，即便做过按奖励归一化，在整个批次上贡献的有效更新信号仍然更弱。这解释了稀疏奖励学得慢的一种机制，也为校正权重提供了定量依据。

DARA 的校正与实验

基于上述关系，DARA 采用反平方根密度校正，给活跃密度更低的奖励更大权重，从而抬升稀疏、不常激活的信号。权重从每个 rollout 批次现算，能随训练中奖励活跃程度变化而自适应，且不修改底层策略优化目标。实验覆盖工具调用与数学推理，对比对象是 GDPO。DARA 更快学到目标行为：工具调用上达到高格式合规，最多可少约 26% 训练步；数学推理上接近饱和的长度合规，最多可少约 65% 训练步；最终性能仍具竞争力。材料未给出模型规模、数据集名称或绝对分数。

我的判断

DARA 把「学得不均」落到可计算的活跃组密度，校正简单、不改优化目标，工程上好接到现有组内归一化流程。它针对的是多奖励设定下批次级信号失衡，尤其是格式、长度这类并非每组都能拉开差距的约束。材料没有讨论奖励高度相关、密度接近或目标冲突时是否仍有增益，也缺少更细消融。公开数字主要是相对 GDPO 的步数节省与最终竞争力。更稳妥的理解是：同类设定下可能让稀疏行为约束更快达标，而不是已经充分验证的通用多目标解法。是否采用，应在自己的奖励组合上复验。