Reddit一条推荐请求常收到多条回复，各自点名不同作品。用RL训LLM推荐器时，生成列表该跟哪条对齐？Rank-GRPO每个样本只抽一条回复，优势大约85%的方差来自「抽到哪条」，而非列表质量。作者主张RL应按请求而非按每条答案训练，并提出ReMaRk。
Rank-GRPO把回复噪声写进优势
多条回复都可以合理。随机抽一条，等于把回复者差异写进优势。论文指出优势方差的85%来自抽到哪条回复，训练信号因此偏离列表好坏，步数也耗在抽样上。
ReMaRk：并集计分、请求均等采样
ReMaRk两处改动：每个生成列表只对照该请求下全部回复片名的并集打一次分；每个请求均等采样，不按回复条数加权。作者称RL因此更便宜。七个骨干、三个数据集上，要达到per-reply训2000步时的验证召回，ReMaRk用25%到53%的步数即可，且在该预算下领先。双方训到不再提升时，ReMaRk从未显著落后；七组里四组用更少GPU小时达到Rank-GRPO最佳。同一奖励在ProtoQA上亦有帮助（约100人答同一题）。规则很简单：多个都成立的人类答案，联合奖励。
我的判断
价值在于把噪声来源说死了：多正确答案时，单条回复抽样会让优势主要记录「抽到谁」，而不是列表质量。并集奖励加按请求采样，改动小，摘要里的步数区间也具体。边界同样清楚——适用于一条请求对应多条合理人类答案（推荐帖、ProtoQA）；单标准答案设定，材料未提供证据。局限是摘要未给出骨干、数据集名称和召回定义，也未谈失败情况。可迁移的读法只有一条：多有效答案时，奖励应对请求，而不是对抽中的那一条。