SFT Memorizes, RL Generalizes: A Comparative Study of Foundation Model Post-training

Supervised fine-tuning (SFT) and reinforcement learning (RL) are widely used post-training techniques for foundation models. However, their roles in enhancing model generalization capabilities remain unclear. This paper studies the difference between SFT and RL on generalization and memorization, focusing on text-based rule variants and visual variants. We introduce GeneralPoints, an arithmetic reasoning card game, and adopt V-IRL, a real-world navigation environment, to assess how models trained with SFT and RL generalize to unseen variants in both textual and visual domains. We show that RL, especially when trained with an outcome-based reward, generalizes across both rule-based textual and visual variants. SFT, in contrast, tends to memorize training data and struggles to generalize out-of-distribution scenarios. Further analysis reveals that RL improves the model's underlying visual recognition capabilities, contributing to its enhanced generalization in the visual domain. Despite RL's superior generalization, we show that SFT remains essential for effective RL training; SFT stabilizes the model's output format, enabling subsequent RL to achieve its performance gains. These findings demonstrates the capability of RL for acquiring generalizable knowledge in complex, multi-modal tasks.

한 줄 요약

SFT는 데이터를 암기하지만, RL은 GeneralPoints와 V-IRL에서 33.8% 성능 향상과 함께 일반화 능력을 높인다.

핵심 기여도

RL이 GeneralPoints와 V-IRL에서 텍스트 및 시각적 변형에 대해 33.8% 성능 향상.
SFT는 훈련 데이터를 암기하고, OOD 시나리오에서 일반화 실패.
RL은 VLM의 시각 인식 능력을 향상시켜 시각 도메인에서 일반화를 촉진.
SFT는 RL 훈련의 안정성을 높여 최종 성능 향상에 기여.

핵심 아이디어

본 연구는 SFT와 RL이 기초 모델의 일반화 능력에 미치는 영향을 비교 분석한다. SFT는 훈련 데이터를 암기하는 경향이 있으며, 새로운 규칙이나 시각적 변형에 대응하지 못하는 반면, RL은 결과 기반 보상(reward)을 사용하여 텍스트와 시각적 도메인에서 모두 일반화를 달성한다. 특히, RL은 V-IRL 미니 벤치마크에서 +33.8%의 성능 향상을 기록하며, 시각 인식 능력 향상이 일반화에 기여함을 밝혔다. 이는 RL이 복합적 다모달 작업에서 일반화 가능한 지식을 학습할 수 있음을 시사한다.

기술적 접근법

모델: Llama-3.2-Vision-11B
훈련 방식: SFT로 초기화 후 RL 수행 (sequential revision)
테스크: GeneralPoints (산술 추론), V-IRL (실세계 탐색)
보상 함수: outcome-based reward
실험 지표: 텍스트 및 시각적 변형에 대한 일반화 성능
하이퍼파라미터: 최대 스텝 수 증가로 추론 시간 확장 → 일반화 향상

주요 결과

V-IRL 미니 벤치마크에서 RL 기반 모델이 SFT 대비 +33.8% (44.0% → 77.8%) 성능 향상.
GeneralPoints에서 SFT는 훈련 규칙을 암기하고, 새로운 규칙에 실패.
RL은 텍스트 및 시각적 변형 모두에서 일반화 성능 향상.
SFT는 RL 훈련 초기 단계에서 출력 형식 안정화에 기여.

의의 및 한계

이 연구는 RL이 복합적 다모달 작업에서 일반화 가능한 지식을 학습할 수 있음을 실증적으로 입증한다. 특히, 결과 기반 보상이 시각 인식 능력을 향상시키는 점은 VLM 연구에 중요한 통찰을 제공한다. 그러나 RL은 SFT 없이 안정적인 훈련이 어렵고, SFT가 초기 훈련 단계에서 필수적이라는 한계도 드러낸다. 또한, 실험은 GeneralPoints와 V-IRL이라는 특정 도메인에 국한되었기 때문에 일반화 가능성에 대한 추가 연구가 필요하다.

실용적 활용

이 연구는 VLM 기반의 실세계 탐색, 산술 추론, 다모달 작업 등에서 RL을 활용한 일반화 훈련 전략을 제안한다. 특히, SFT와 RL의 혼합 훈련은 안정성과 일반화를 동시에 달성하는 데 유용할 수 있다. 산업적으로는 로봇 제어, 자율 주행, 인공지능 교육 플랫폼 등에서 활용 가능하다.