Many Right Answers, One Training Example: Removing Responder Noise from GRPO for LLM Recommenders

A recommendation request on Reddit draws several replies, each naming different titles. When an LLM recommender is trained on such threads with reinforcement learning (RL), which replies should a generated list be rewarded against? The state-of-the-art recipe, Rank-GRPO, picks one reply per training example, so the advantage mostly records which reply was drawn (85% of its variance) rather than how good the list is. We argue that RL should train on the request, not on each answer, and propose ReMaRk: it scores every list once against the union of all replies' titles and samples each request equally. This makes RL cheaper. On seven backbones and three datasets, ReMaRk reaches the validation recall of 2,000 per-reply RL steps in 25 to 53% of the steps and leads at that budget; trained until neither improves, it is never significantly behind Rank-GRPO and in four of seven pairs reaches Rank-GRPO's best with fewer GPU-hours. The same reward helps on ProtoQA, where about 100 people answer each question, which points to a simple rule for RL with several valid human answers: reward them jointly.

한 줄 요약

ReMaRk는 GRPO 기반 추천 모델에서 응답자 간 차이를 노이즈로 처리하지 않고 요청 단위로 학습함으로써 RL 연산량을 25~53% 절감한다.

핵심 기여도

ReMaRk는 요청 단위로 학습하여 Rank-GRPO 대비 25~53%의 RL 스텝으로 동일한 R@20 성능 달성.
2B 파라미터 기준, ReMaRk는 Rank-GRPO보다 18~63% 적은 GPU-시간으로 동일 수준의 성능을 보임.
ProtoQA 데이터셋에서도 250 스텝에서 +3.67 (95% CI: +2.64~+4.69)의 recall@10 개선.
요청 단위로 학습하는 방식은 Rao–Blackwellization 이론적 근거를 기반으로 함.

핵심 아이디어

Rank-GRPO는 각 응답자별로 별도의 학습 예시를 생성하고, 이에 따라 리스트를 평가하지만, 이는 응답자 간 차이를 학습 노이즈로 간주하게 된다. 실제로는 85%의 advantage 분산이 어떤 응답자가 선택되었는지에 따라 발생하며, 리스트의 질 자체는 반영되지 않는다. ReMaRk는 이 문제를 해결하기 위해 요청 단위로 학습하며, 모든 응답자의 제목을 통합한 집합에 대해 리스트를 한 번 평가한다. 이는 Rao–Blackwellization 이론에 기반하며, 응답자 간 분산을 제거하여 학습 효율을 높인다. 0/1 형식의 reward를 유지함으로써 GRPO의 학습 구조는 그대로 유지되며, 학습 단위만 변경된다.

기술적 접근법

**Rank-GRPO**: 각 응답자별로 별도의 학습 예시를 생성하고, 해당 응답자의 제목만 기준으로 리스트를 평가.
**ReMaRk**: 요청 단위로 학습하며, 모든 응답자의 제목을 통합한 집합에 대해 리스트를 한 번 평가.
**Reward**: 0/1 형식의 reward를 유지.
**Sampling**: 요청을 동일 확률로 샘플링 (per-responder 샘플링 X).
**데이터셋**: Reddit-v2, Reddit-Books, Reddit-Music, ProtoQA.
**모델**: 2B, 9B 파라미터 크기의 7개 백본 모델.
**메트릭**: R@20, recall@10, GPU-시간.

주요 결과

**Reddit-v2**: ReMaRk는 2,000 per-reply RL 스텝의 R@20 성능을 25~53%의 스텝으로 달성.
**Reddit-Books**: ReMaRk는 Rank-GRPO보다 18~63% 적은 GPU-시간으로 동일 수준의 성능.
**ProtoQA**: ReMaRk는 250 스텝에서 +3.67 (95% CI: +2.64~+4.69)의 recall@10 개선.
**Rao–Blackwellization 효과**: Rank-GRPO의 업데이트에서 정확한 Rao–Blackwellization은 +0.93 (95% CI: +0.83~+1.04)의 성능 향상.

의의 및 한계

ReMaRk는 요청 단위로 학습함으로써 응답자 간 차이를 노이즈로 간주하지 않고, 학습 효율을 높이는 새로운 접근법을 제시한다. 이는 GRPO 기반 추천 모델의 학습 비용을 줄이고, 더 빠르게 수렴할 수 있도록 한다. 또한, ProtoQA 데이터셋에서의 성능 개선은 ReMaRk가 단순한 추천 이외에도 질문 응답 등 다양한 RL 응용에 유용함을 시사한다. 그러나 Rank-GRPO보다 일부 데이터셋에서 약간 낮은 최대 성능을 보이는 경우가 있으며, 이는 모델의 최종 수렴 수준이 데이터셋 특성에 따라 달라질 수 있음을 나타낸다.

실용적 활용

ReMaRk는 Reddit, Q&A 사이트 등 여러 사용자가 동일 질문에 대해 다양한 답변을 제공하는 상황에서 유용하다. 특히, 추천 시스템, 질문 응답, 콘텐츠 생성 등에서 학습 비용을 절감하면서도 높은 수준의 성능을 유지할 수 있다. 또한, GRPO 기반의 모델이 사용되는 모든 분야에서 학습 단위를 요청 단위로 변경함으로써 적용 가능하다.