ZAYA1-8B Technical Report

We present ZAYA1-8B, a reasoning-focused mixture-of-experts (MoE) model with 700M active and 8B total parameters, built on Zyphra's MoE++ architecture. ZAYA1-8B's core pretraining, midtraining, and supervised fine-tuning (SFT) were performed on a full-stack AMD compute, networking, and software platform. With under 1B active parameters, ZAYA1-8B matches or exceeds DeepSeek-R1-0528 on several challenging mathematics and coding benchmarks, and remains competitive with substantially larger open-weight reasoning models. ZAYA1-8B was trained from scratch for reasoning, with reasoning data included from pretraining onward using an answer-preserving trimming scheme. Post-training uses a four-stage RL cascade: reasoning warmup on math and puzzles; a 400-task RLVE-Gym curriculum; math and code RL with test-time compute traces and synthetic code environments built from competitive-programming references; and behavioral RL for chat and instruction following. We also introduce Markovian RSA, a test-time compute method that recursively aggregates parallel reasoning traces while carrying forward only bounded-length reasoning tails between rounds. In TTC evaluation, Markovian RSA raises ZAYA1-8B to 91.9\% on AIME'25 and 89.6\% on HMMT'25 while carrying forward only a 4K-token tail, narrowing the gap to much larger reasoning models including Gemini-2.5 Pro, DeepSeek-V3.2, and GPT-5-High.

📋 한 줄 요약

**[LLM 사전학습/추론]** AMD 하드웨어에서 처음부터 추론용으로 학습된 8B MoE 모델 ZAYA1-8B와 4단계 RL 후처리, Markovian RSA 테스트타임 압축 기법을 공개한다.

🎯 핵심 기여도

700M 활성/8B 총 파라미터의 추론 특화 MoE++ 모델 ZAYA1-8B 공개
사전학습부터 추론 데이터 포함, 정답 보존형 트리밍 기법 도입
4단계 RL 캐스케이드(워밍업 → RLVE-Gym → 수학·코드 RL → 행동 RL) 설계
평행 추론 추적을 4K 토큰 꼬리만 유지하며 재귀적으로 집계하는 Markovian RSA 제안

💡 핵심 아이디어

추론 능력은 사전학습 단계부터 데이터 분포에 포함시키고, RL은 단계별 커리큘럼으로 강화하며, 추론 시점에는 평행 추적을 짧은 꼬리로 압축해 다음 라운드에 전달함으로써 메모리 비용 없이 테스트타임 컴퓨트를 확장한다.

🔬 기술적 접근법

**모델/방법론**: ZAYA1-8B — Zyphra MoE++ 아키텍처, 풀스택 AMD에서 학습
**핵심 기법**: ① 정답 보존 트리밍으로 추론 데이터 노이즈 제거 ② RLVE-Gym 400 태스크 커리큘럼 ③ 경쟁 프로그래밍 기반 합성 코드 환경 ④ Markovian RSA: 라운드 사이 4K 토큰 꼬리만 전달하며 평행 추적을 재귀 집계.

📊 주요 결과

활성 1B 미만으로 다수 수학·코딩 벤치마크에서 DeepSeek-R1-0528과 동등 또는 상회
Markovian RSA 적용 시 AIME'25 91.9%, HMMT'25 89.6% 달성
Gemini-2.5 Pro, DeepSeek-V3.2, GPT-5-High와의 격차를 크게 축소

💭 의의 및 한계

**의의**: 비-NVIDIA 스택에서 SOTA급 추론 모델 학습이 가능함을 실증, 효율적 MoE+TTC 조합의 강력함 입증. **한계**: 추론 외 일반 능력에 대한 평가가 제한적이며 Markovian 가정이 깨지는 장기 추론에서의 성능은 미검증.

🚀 실용적 활용

자원 제한 환경에서의 고품질 추론 모델 배포
AMD GPU 클러스터를 활용한 대규모 학습 레퍼런스
평행 추론을 짧은 메모리로 압축해야 하는 에이전트의 TTC 전략