SFT Conflicts, RL Coexists: A Theoretical and Empirical Analysis of Multi-Task Learning for LLMs

Supervised Fine-Tuning (SFT) and Reinforcement Learning (RL) exhibit fundamentally different behaviors in enhancing multi-task reasoning for large language models (LLMs). Our preliminary experiments revealed a phenomenon: SFT suffers from severe task conflicts under multi-stage training, whereas RL enables stable coexistence across diverse tasks. Empirically, we trace this to the parameter level, observing that RL induces sparse and approximately orthogonal updates across tasks. We provide a theoretical explanation for this mechanism by analyzing multi-task gradient interference. Our results reveal a distinction: interference in SFT is norm-limited, scaling with the absolute gradient magnitude, whereas interference in RL is variance-limited, bounded by the gradient variance induced by advantage normalization and on-policy optimization. This small variance bound yields near-orthogonal optimization directions across tasks. Leveraging this insight, we propose Parallel-RL, a paradigm that decouples multi-task training, significantly improving efficiency and flexibility.

한 줄 요약

SFT는 다단계 학습에서 성능 저하를 겪지만, RL은 거의 직교적인 업데이트로 안정적 성능 향상을 보인다.

핵심 기여도

SFT는 다단계 학습에서 평균 23.1%의 성능 저하를 보인 반면, RL은 24.9%의 성능 향상.
RL의 파라미터 업데이트는 SFT 대비 약 100배 작은 크기이며, 업데이트 간 유사도는 SFT의 약 10⁻⁴ 수준.
RL 간 간섭은 분산 제한적이고, SFT는 노름 제한적이라는 이론적 구분 제시.
Parallel-RL이라는 새로운 다태스크 학습 패러다임 제안, 효율성과 유연성 향상.

핵심 아이디어

SFT와 RL은 다태스크 학습에서 근본적으로 다른 동작을 보인다. SFT는 다단계 학습에서 각 단계의 파라미터 업데이트가 다른 태스크에 부정적인 영향을 미쳐 성능 저하를 초래한다. 반면, RL은 Advantage Function과 On-policy 최적화로 인해 파라미터 업데이트가 거의 직교적이며, 이로 인해 태스크 간 간섭이 최소화된다. 이는 SFT가 노름 제한적 간섭을 보이는 반면, RL은 분산 제한적 간섭을 보인다는 이론적 근거를 통해 설명된다. 이 통찰을 바탕으로, Parallel-RL이라는 새로운 패러다임이 제안되며, 이는 각 태스크를 병렬로 학습한 후 업데이트를 병합함으로써 효율적이고 유연한 학습을 가능하게 한다.

기술적 접근법

**모델**: DeepSeek-R1-Distill-Qwen-1.5B를 기반 모델로 사용.
**알고리즘**: RL에서는 GRPO 알고리즘을, SFT 및 RL 모두에 대해 LoRA를 사용하여 효율 학습.
**데이터셋**: MATH500, MMLU, Knights & Knaves, LiveCodeBench.
**Parallel-RL**: 병렬 RL 학습 후 업데이트 병합 (예: 선형 평균, SVD).
**수치**: RL 업데이트 크기 평균은 SFT 대비 약 100배 작음 (ΔW의 크기 차이).

주요 결과

SFT는 다단계 학습에서 평균 23.1%의 성능 저하 발생.
RL은 다단계 학습에서 평균 24.9%의 성능 향상.
RL 업데이트 간 유사도는 약 10⁻⁵ 수준, SFT는 약 10⁻¹ 수준.
Parallel-RL은 단일 태스크 성능과 동일한 수준 유지하면서 학습 효율성 향상.
특정 ΔW_i 제거 시 해당 태스크 성능 7.1% 감소, 다른 태스크는 0.6% 향상.

의의 및 한계

이 연구는 SFT와 RL이 다태스크 학습에서 어떻게 다른 결과를 내는지 체계적으로 분석하며, RL이 직교적인 업데이트를 유도함으로써 간섭을 최소화한다는 이론적 근거를 제시한다. Parallel-RL은 병렬 학습과 병합을 통해 모듈화된 학습을 가능하게 하며, 효율성과 유연성을 동시에 달성한다. 그러나 Parallel-RL은 모델 병합 기법 이상의 전체 학습 패러다임으로, 태스크 선택 및 단일 학습 기법에 대한 추가 연구가 필요하다. 또한, 이 연구는 특정 모델과 데이터셋에 기반했기 때문에 일반화 가능성에 대한 추가 검증이 필요하다.

실용적 활용

Parallel-RL은 다양한 태스크를 독립적으로 학습하고 병합함으로써, 모듈화된 LLM 학습을 가능하게 하므로, 산업 현장에서 태스크별 최적화가 필요한 상황에 유용하게 적용될 수 있다. 특히, 코드 생성, 논리 추론, 과학적 추론 등 복잡한 다태스크 환경에서 유연한 모델 구성이 요구되는 경우에 효과적이다.