📋 한 줄 요약
**[강화학습 / LLM 추론]** RLVR이 실패하는 난제에서 무작위 선택한 단 128개의 시연만으로 SFT 풀데이터셋 학습과 맞먹는 성능을 내는 few-shot 가이드 알고리즘 FEST 제안.
🎯 핵심 기여도
- RLVR이 어려운 문제에서 정답 rollout을 만들기 어려워 샘플 효율이 낮다는 한계와, 이를 해결하기 위한 demonstration-guided RLVR이 대량의 SFT 데이터를 요구한다는 비용 문제를 진단.
- SFT 데이터셋에서 무작위 선택한 128개 시연만 사용하는 FEST(FEw-ShoT) 알고리즘 제안.
- 성공의 핵심 요소를 (1) 지도 신호(supervised signal), (2) on-policy 신호, (3) few-shot SFT 데이터셋에 대한 감쇠 가중치(decaying weights) 세 가지로 식별.
- 다수 벤치마크에서 베이스라인 대비 훨씬 적은 SFT 데이터로도 성능을 능가하거나 풀데이터 성능에 필적함을 입증.
💡 핵심 아이디어
SFT 신호를 RL에 단순히 끼워 넣기보다, on-policy 신호와 결합하면서 few-shot 시연의 비중을 학습이 진행됨에 따라 감쇠시키면 다중 epoch 학습으로 인한 과적합을 방지하면서도 RL이 어려운 문제에서도 작동하도록 만들 수 있다.
🔬 기술적 접근법
- **모델/방법론**: RLVR 기반 LLM 추론 학습에 소량 demonstration SFT를 결합한 FEST.
- **핵심 기법**: 무작위 선택된 128개 시연, on-policy rollout과 supervised signal의 결합 손실, 시연 가중치의 단조 감쇠 스케줄링으로 over-fitting 억제.
📊 주요 결과
- 128개 시연만으로 풀 데이터셋 SFT-guided RLVR과 동등하거나 그 이상의 성능 달성.
- 수학·코딩 등 여러 벤치마크에서 baseline 대비 일관된 우위.
- 시연 가중치 감쇠 제거 시 성능 저하로 ablation의 효과성 확인.
💭 의의 및 한계
**의의**: SFT 데이터 수집 비용이 큰 환경에서 RLVR을 효과적으로 활용할 수 있는 길을 열어 자원 효율적 LLM 추론 학습의 새 레시피를 제시. **한계**: 128 시연의 품질·다양성에 성능이 좌우될 수 있으며, 시연 분포가 평가 분포와 어긋날 때의 견고성은 추가 검증 필요.
🚀 실용적 활용
- 라벨링 자원이 제한된 도메인의 LLM 추론 강화학습.
- 신규 reasoning 태스크에 빠르게 적응하는 부트스트랩 워크플로.
- SFT vs RL 균형을 동적으로 조정하는 다른 알고리즘의 베이스라인.