ISO: An RLVR-Native Optimization Stack

Reinforcement learning with verifiable rewards (RLVR) is rapidly advancing the reasoning capabilities of language models, yet the optimization layer that converts reward feedback into weight-space updates remains poorly understood. Building on our prior analysis (Zhu et al., 2025), we study this missing layer through the singular structure of model weights and identify spectral inheritance: RLVR can reuse the base model's weight spectra while acquiring new behavior through changes in the associated input and output singular frames. We operationalize spectral inheritance as Isospectral Optimization (ISO), an RLVR-native, fixed-spectrum optimization framework with complementary offline and online instantiations. Offline, ISO-Merger combines the frame changes of shared-base specialists into a single fixed-spectrum model, requiring no post-merge data, rollouts, gradient updates, or on-policy distillation (OPD). It recovers complementary specialist capabilities and achieves the strongest aggregate performance among the compared data-free merging methods. Online, ISO-Optimizer applies a chosen base optimizer, including AdamW and Muon, to the frame variables while keeping the base spectra fixed. Across reasoning and coding tasks ranging from 1.5B to 8B parameters, ISO-Optimizer improves accuracy in the reported runs and reaches matched scores with substantially fewer training steps. On Qwen3-8B-Base, AdamW reaches an aggregate accuracy of 0.495 after 270 training steps. ISO-AdamW reaches the same accuracy after only 100 training steps and improves further to 0.509 after 210 training steps. Together, ISO offers a concrete answer to RLVR's missing optimization layer: rather than inheriting pre-training optimization wholesale, design post-training around the structure of reward-driven adaptation: inherit the spectrum, optimize the frames.

한 줄 요약

ISO는 RLVR에서 가중치 스펙트럼을 고정하고 특이값 프레임만 최적화하는 새로운 최적화 프레임워크이다.

핵심 기여도

**스펙트럼 유산**(Spectral Inheritance)을 제시: RLVR은 기반 모델의 가중치 스펙트럼을 재사용하면서 입력/출력 특이값 프레임을 변경하여 새로운 행동을 학습한다.
**ISO-Merger**를 제안: 공유 기반 전문가 모델의 프레임 변화를 결합하여 추가 데이터 없이 모델을 합성하며, 기존 data-free merging 방법 중 가장 높은 성능을 달성.
**ISO-Optimizer**를 제안: AdamW, Muon과 같은 기존 최적화기를 프레임 변수에 적용하면서 기반 스펙트럼을 고정. Qwen3-8B-Base에서 AdamW가 270 스텝에 0.495 정확도를 달성하는 반면, ISO-AdamW는 100 스텝에 동일 정확도를 달성하고 210 스텝에서 0.509로 향상됨.

핵심 아이디어

기존 RLVR 최적화는 사전 학습 단계의 최적화를 그대로 사용하지만, 이는 토큰 수준의 밀집된 감독과는 구조적으로 다르며, 결과적으로 비효율적일 수 있다. 본 연구는 RLVR이 **기반 모델의 스펙트럼**(가중치의 특이값 분포)은 재사용하지만, **입력 및 출력 특이값 프레임**(SVD의 U, V 행렬)은 변경하여 새로운 행동을 학습한다는 통찰을 제시한다. 이는 RLVR의 학습 구조가 기존 최적화와 분리되어야 함을 의미하며, **스펙트럼은 상속**, **프레임은 최적화**라는 새로운 원칙을 제시한다.

기술적 접근법

**ISO-Merger**: 공유 기반 전문가 모델의 입력/출력 프레임 변화를 결합하여 단일 고정 스펙트럼 모델을 생성. 추가 데이터, rollout, gradient update, on-policy distillation(OPD) 없이 작동.
**ISO-Optimizer**: AdamW, Muon 등 기존 최적화기를 프레임 변수에 적용. 기반 스펙트럼은 고정.
**모델 크기**: 1.5B ~ 8B 파라미터 규모의 추론 및 코딩 작업에서 평가.
**하이퍼파라미터**: ISO-AdamW는 Qwen3-8B-Base에서 100 스텝만으로 0.495 정확도 달성.

주요 결과

**Qwen3-8B-Base**에서 AdamW는 270 스텝에 0.495 정확도 달성.
**ISO-AdamW**는 100 스텝에 동일 정확도 달성, 210 스텝에서 0.509로 향상 (2.7× 가속).
**ISO-Merger**는 data-free merging 방법 중 가장 높은 집약적 성능 달성.
**LiveBench, LiveCodeBench, BFCL, AIME24 등** 다양한 데이터셋에서 평가.

의의 및 한계

ISO는 RLVR의 최적화 레이어를 구조적으로 재설계하여, 기존 최적화와는 다른 방식으로 학습 효율을 향상시킨다. 특히, 기반 스펙트럼을 고정함으로써 모델의 핵심 구조를 보존하면서도, 프레임 최적화를 통해 새로운 행동을 학습하는 방식은 RLVR의 학습 메커니즘을 깊이 있게 이해하는 데 기여한다. 그러나, ISO는 기반 모델의 스펙트럼이 이미 잘 학습되어 있어야 하며, 스펙트럼이 적절하지 않다면 성능이 저하될 수 있다. 또한, ISO-Merger는 전문가 모델이 동일 기반 모델에서 학습되었을 경우에만 효과적이다.

실용적 활용

ISO는 대규모 언어 모델의 RLVR 학습을 효율적으로 수행할 수 있는 프레임워크로, 특히 **데이터 생성 없이 전문가 모델을 결합**(ISO-Merger)하거나 **학습 스텝을 줄이며 정확도를 향상**(ISO-Optimizer)하는 상황에서 유용하다. 이는 **모델 합성**, **가속 학습**, **자원 효율적인 RLVR 구현** 등에 적용 가능하다.