Is One Layer Enough? Training A Single Transformer Layer Can Match Full-Parameter RL Training

Reinforcement learning (RL) has become a central component of post-training large language models (LLMs), yet little is understood about how RL adaptation is distributed across transformer layers. Existing approaches typically update all model parameters uniformly, implicitly assuming that every layer contributes similarly to the gains obtained during RL post-training. In this work, we challenge this assumption through a systematic layer-wise study of RL training. Surprisingly, we find that training a single transformer layer can recover most of the gains achieved by full-parameter RL training, and in some cases even surpass it. To quantify this phenomenon, we introduce the quantity layer contribution, which measures the fraction of full RL improvement recovered by training a layer in isolation. Across seven models spanning two model families (Qwen3, Qwen2.5), three RL algorithms (GRPO, GiGPO, Dr. GRPO), and multiple task domains including mathematical reasoning, code generation, and agentic decision-making, we observe a remarkably stable pattern: RL gains are highly concentrated in a small subset of, and in many cases even a single, transformer layers. More strikingly, the same structural pattern consistently emerges: high-contribution layers concentrate in the middle of the transformer stack, while layers near the input and output ends contribute substantially less. The resulting layer rankings remain strongly correlated across datasets, tasks, model families, and RL algorithms.

한 줄 요약

단일 트랜스포머 레이어만 훈련해도 전체 파라미터 RL 훈련과 유사한 성능을 달성할 수 있음.

핵심 기여도

단일 트랜스포머 레이어 훈련이 전체 파라미터 RL 훈련의 114% 성능을 달성함.
높은 기여도를 보이는 레이어는 트랜스포머 스택 중간에 집중됨 (Spearman ρ = 0.76).
Qwen3-8B에서 상위 10개 레이어만 훈련해도 69.1% 정확도 달성 (전체 훈련 대비 +2.7%).
레이어 기여도는 데이터셋, 태스크, RL 알고리즘에 따라 강하게 상관됨.

핵심 아이디어

기존 RL 훈련은 모든 트랜스포머 레이어를 동일하게 업데이트하는 방식을 사용했으나, 본 연구는 레이어별 기여도를 분석함으로써 RL 개선 효과가 특정 레이어에 집중되어 있다는 새로운 통찰을 제시한다. 이를 위해 **layer contribution**이라는 새로운 지표를 도입하여, 개별 레이어가 전체 RL 개선에 기여하는 비율을 측정한다. 실험 결과, **중간 레이어가 높은 기여도를 보이며, 입력/출력 끝단 레이어는 기여도가 낮음**을 확인했다. 이는 RL 훈련이 전체 네트워크의 조화적 변화에 의존하는 것이 아니라, 특정 구조적 패턴에 기반한다는 것을 시사한다.

기술적 접근법

**Layer Contribution**: 개별 레이어를 고정시키고 하나의 레이어만 RL로 훈련한 후, 전체 RL 훈련 대비 성능 개선 비율을 측정.
**모델**: Qwen3, Qwen2.5 (총 7개 모델).
**RL 알고리즘**: GRPO, GiGPO, Dr. GRPO.
**태스크**: 수학적 추론, 코드 생성, 에이전트 의사결정.
**결과 분석**: Spearman 상관계수를 사용해 레이어 기여도가 데이터셋 및 태스크 간 일관성을 가지는지 평가 (예: NuminaMath-CoT vs. DeepScaleR, ρ = 0.76).

주요 결과

**Qwen3-8B**에서 상위 10개 레이어만 훈련해도 수학적 추론 태스크에서 69.1% 정확도 달성 (전체 훈련 대비 +2.7%).
**단일 레이어 훈련**이 전체 RL 훈련 대비 114% 성능을 달성한 사례도 있음.
**입력/출력 끝단 레이어**는 30% 미만의 기여도를 보임.
**중간 레이어**가 높은 기여도를 보이며, 이 패턴은 데이터셋, 태스크, RL 알고리즘에 따라 일관됨.

의의 및 한계

본 연구는 RL 훈련이 특정 레이어에 집중되어 있다는 구조적 특성을 밝혀내어, RL 훈련 전략의 재설계 가능성을 제시한다. 특히, 레이어 기여도에 기반한 **selective training**은 기존 전체 파라미터 훈련보다 성능을 개선함을 보여준다. 그러나 이러한 전략은 수학적 추론 태스크에서만 검증되었으며, 코드 생성이나 에이전트 태스크로 확장하는 것은 향후 연구 과제이다. 또한, 중간 레이어가 RL 적응에 중요한 이유에 대한 이론적 설명은 아직 미비하다.

실용적 활용

본 연구 결과는 RL 훈련 과정에서 **자원 효율성**을 높이는 데 활용될 수 있다. 예를 들어, **중간 레이어만 선택적으로 훈련**함으로써 전체 파라미터 훈련보다 낮은 비용으로 유사하거나 더 높은 성능을 달성할 수 있다. 이는 대규모 언어 모델의 RL 후처리 과정에서 **에너지 효율성**과 **훈련 시간 단축**을 위한 실용적 전략으로 활용 가능하다.