Transferability for General Reasoning: An Automated Curriculum for Multi-Domain RLVR

Reinforcement learning with verifiable rewards (RLVR) has been extended from single-domain training to multi-domain reasoning suites spanning mathematics, programming, and science. However, the training curriculum (how often each domain is sampled) is typically fixed or hand-tuned, even though reasoning skills transfer unevenly across domains. Existing learnability-based curricula adapt to where the policy is currently improving, but are blind to whether a gradient step on the selected domain benefits the remaining domains. In this paper, we propose Transfer-Aware Curriculum (TAC), a bandit-style online curriculum that prioritizes domains whose updates broadly benefit the rest of the training suite. TAC repurposes signals already produced by RL training: per-domain advantages capture local learnability, and projected gradients, taken from the GRPO step being computed, estimate cross-domain transferability via gradient-geometry alignment, at negligible cost (<1% wall-clock overhead). Across a six-domain reasoning suite, TAC achieves the best macro-averaged accuracy on both Qwen3-1.7B and Llama3.2-3B, outperforming proportional random sampling, a hand-designed schedule, and a learnability-only bandit, and improving over the last of these by up to 2.8 points (10% relative). Ablations show performance degrades sharply when the transferability term is removed, and TAC remains robust on imbalanced training mixtures where learnability-only curricula over-commit to dominant domains. Our findings establish cross-domain transferability as a key signal for curriculum design in multi-domain RLVR.

한 줄 요약

TAC는 다분야 RLVR 학습에서 전이성을 고려한 온라인 커리큘럼으로, 6개 도메인에서 Qwen3-1.7B와 Llama3.2-3B 모델에서 최고 정확도를 달성한다.

핵심 기여도

TAC는 GRPO 단계에서 추출한 projected gradients를 활용해 도메인 간 전이성을 추정함.
6개 도메인에서 macro-averaged 정확도가 learnability-only bandit 대비 최대 2.8점 (10% 상대) 개선됨.
전이성 항이 제거될 경우 성능이 급격히 저하됨 (ablation study 결과).
불균형 학습 혼합에서도 robust한 성능 유지됨.

핵심 아이디어

기존 커리큘럼은 단일 도메인의 학습 가능성을 반영하지만, 다른 도메인에 미치는 영향은 고려하지 않는다. TAC는 GRPO 단계에서 계산된 projected gradients를 사용하여, 특정 도메인의 업데이트가 다른 도메인에 미치는 전이성을 추정한다. 이는 gradient-geometry alignment를 통해 계산되며, 추가 비용이 거의 발생하지 않는다 (벽시계 오버헤드 <1%). 핵심 아이디어는 "학습 가능한 도메인"과 "전이 가능한 도메인"을 동시에 고려하여, 전체적인 학습 효과를 극대화하는 것이다.

기술적 접근법

TAC는 bandit-style 온라인 커리큘럼으로, 각 도메인의 샘플링 빈도를 조절함.
S<sub>m</sub><sup>(t)</sup>는 두 항으로 구성됨: (1) on-policy GRPO advantages 기반의 local learnability term, (2) gradient-geometry alignment 기반의 global transferability term.
GRPO 단계에서 추출한 projected gradients를 사용하여 cross-domain transferability를 추정함.
학습 중 정책이 변화함에 따라 커리큘럼도 동적으로 업데이트됨.
학습 비용은 1% 미만의 오버헤드만 추가됨.

주요 결과

6개 도메인에서 TAC는 Qwen3-1.7B와 Llama3.2-3B 모두에서 macro-averaged 정확도가 가장 높음.
learnability-only bandit 대비 최대 2.8점 (10% 상대) 개선됨.
proportional random sampling과 hand-designed schedule을 모두 초과함.
전이성 항이 제거되면 성능이 급격히 저하됨.
불균형 학습 혼합에서도 robust한 성능 유지됨.

의의 및 한계

TAC는 다분야 RLVR 학습에서 도메인 간 전이성을 학습 커리큘럼에 통합한 첫 사례로, 학습 효율성을 높이는 데 기여한다. 기존 방법이 단일 도메인의 학습 가능성을 반영하는 데 집중했다면, TAC는 전체 도메인 집합의 전이성을 고려함으로써 더 균형 잡힌 학습을 가능하게 한다. 그러나 TAC는 학습 중 발생하는 gradient 정보에만 의존하므로, 이 정보가 부정확하거나 불안정할 경우 성능이 저하될 수 있다. 또한, 특정 도메인에 대한 전이성이 명시되지 않아, 어떤 도메인이 다른 도메인에 가장 큰 영향을 미치는지에 대한 세부 분석은 제한적이다.

실용적 활용

TAC는 수학, 프로그래밍, 과학 등 다양한 분야를 아우르는 LLM 학습에 적용 가능하다. 특히, 학습 데이터가 불균형하거나, 학습 효과가 도메인 간에 불균일하게 전이되는 상황에서 효과적이다. 교육 AI, 멀티모달 학습, 복합 태스크 학습 등에서 학습 커리큘럼 최적화에 활용할 수 있다.