J-Zero: Unified Challenger--Solver--Judge Co-Evolution from Zero Data

Self-evolving language models have recently emerged as a promising path toward superintelligence, with the advantage of reducing the cost of human supervision. While considerable progress has been made in verifiable domains, self-evolution in unverifiable domains remains substantially less explored. We propose Judge co-adaptation from Zero data (J-Zero), a unified Challenger--Solver--Judge co-evolution framework that supports self-improvement across both domains. The Challenger and Solver co-evolve through an adversarial interaction: the Challenger generates increasingly difficult tasks, while the Solver learns to produce higher-quality responses to them. In parallel, the Judge co-adapts using preference pairs whose ordering is known in advance from how each response was produced, i.e., the Solver's answer over the Challenger's, and its decomposed-and-recombined answer over its one-shot answer, rather than from the Judge's own scores. J-Zero outperforms the baselines by an average of 4.2 points on verifiable and 8.0 points on unverifiable domains, and continues to improve through at least ten iterations, whereas the baselines degrade after two.

한 줄 요약

J-Zero는 제로데이터에서 시작하여 Challenger-Solver-Judge가 공진화하는 프레임워크로, 검증 가능한/불가능한 도메인에서 평균 4.2~8.0점 개선을 달성한다.

핵심 기여도

**J-Zero** 프레임워크를 제안하여, **Challenger**, **Solver**, **Judge**가 **공진화**하며 **자체 개선**을 유도.
**Role-asymmetry pairs**와 **Subtask-amplification pairs**를 기반으로 **Judge의 자율적 적응**을 가능하게 함.
**GSM8K**, **MATH500**, **AlpacaEval** 등 다양한 벤치마크에서 **4.2~8.0점** 개선.
**10회 반복 학습**까지 성능 향상 지속, 기존 방법은 2회 이후 성능 저하.

핵심 아이디어

J-Zero는 기존의 **Solver와 Challenger의 대립 학습**에 **Judge의 동적 적응**을 추가한 **3자 공진화** 프레임워크이다. 기존 방법은 Judge가 고정되어 Solver의 한계를 정해놓는 문제를 해결하기 위해, **Solver의 분할-결합 응답**과 **Challenger의 응답** 간의 구조적 우열 관계를 활용한 **Preference Pair**를 생성한다. 이는 **BT(Bradley-Terry) loss**를 통해 Judge를 학습시킨다. 특히, **Subtask-amplification pairs**는 Solver의 **하나의 샷 응답**보다 **분할-결합 응답**이 더 우수하다는 점을 기반으로, Judge가 Solver의 한계를 넘는 정보를 학습하도록 유도한다.

기술적 접근법

**Challenger**: 생성된 작업에 대해 **Judge의 점수를 최소화**하도록 학습.
**Solver**: Challenger의 작업에 대해 **Judge의 점수를 최대화**하도록 학습.
**Judge**: **Role-asymmetry pairs** (Solver > Challenger)와 **Subtask-amplification pairs** (분할-결합 응답 > 하나의 샷 응답)를 기반으로 **BT loss**를 사용하여 학습.
**Minimax game**과 **Group Relative Policy Optimization**을 사용한 **3단계 반복 학습** 구조.
**Qwen3-4B-Base**, **Qwen3-8B-Base** 모델을 기반으로 실험.

주요 결과

**검증 가능한 도메인** (GSM8K, MATH500 등): **4.2점** 개선 (기존 대비 +4.2%).
**불가능한 도메인** (AlpacaEval, BBH 등): **8.0점** 개선 (기존 대비 +8.0%).
**J-Zero**는 **10회 반복 학습**까지 성능 향상 지속, 기존 방법은 **2회 이후 성능 저하**.
**AlpacaEval**에서 **6.22 → 28.56**, **12.93 → 33.53**의 대폭 개선 기록.

의의 및 한계

J-Zero는 **Judge의 고정된 평가 기준**이라는 한계를 극복하고, **Solver의 진화를 지속적으로 유도**할 수 있는 **자체 평가 시스템**을 구축한 점에서 학술적 의의가 있다. 특히, **자연어 처리** 및 **지식 기반 추론** 분야에서 **자체 학습 시스템**의 발전 가능성을 제시한다. 그러나, **Preference Pair 생성**이 **Solver의 내부 구조에 의존**하므로, **Solver의 성능 향상 없이 Judge가 독립적으로 개선**되는 한계는 여전히 존재한다.

실용적 활용

J-Zero는 **대규모 언어 모델의 자체 학습 및 최적화**에 활용 가능하며, 특히 **인간 감독 없이도 지속적으로 성능을 향상**시킬 수 있는 **AI 시스템 개발**에 기여할 수 있다. **비즈니스 자동화**, **교육 콘텐츠 생성**, **개인 맞춤형 추천 시스템** 등 다양한 산업 분야에서 적용 가능하다.