ZGCM-1: A Fully Open and Extremely Efficient Foundation Model for Math and Agentic Search

In this work, we present ZGCM-1, a fully open 7B dense foundation model trained from scratch with extreme data, system, and algorithmic efficiency. ZGCM-1 is founded on a core premise: compact models cannot passively memorize the open web, but can overcome parametric capacity limits by coupling deliberate internal thinking with active external tool use. To support this paradigm across a 256K context, we develop an end-to-end, high-efficiency open training recipe: Architecture & System Co-design: interleaved gated sliding-window and full attention, and a stable FP8 Muon optimizer; Progressive Curriculum & MDP Mid-Training: context scaling across 16K, 64K, and 256K, and the reformulation of interaction traces into Markov Decision Processes. Furthermore, we establish an AI-native R&D workflow where agent swarms autonomously manage cluster operations, data curation, and rapid diagnostic evaluation. Extensive evaluations show that ZGCM-1-7B is competitive across 7B model family on general benchmarks. On several challenging mathematical reasoning and agentic search suites, it remains competitive with frontier models orders of magnitude larger, such as Qwen3-235B-A22B and GLM-5.1. We also show that our pre-training design offers a ~4.2x efficiency improvement in 16K pre-training time-to-loss. Across the full development lifecycle, we distill eight actionable empirical findings-spanning architectural scaling, SFT quality pruning, long-context generalization, and agentic co-training dynamics. To facilitate community research, we open-source model weights from the pre-training, mid-training, and post-training stages, intermediate checkpoints, training code, per-stage data and data recipes, and W&B logs.

한 줄 요약

ZGCM-1은 73억 파라미터의 오픈소스 기반 모델로, 256K 컨텍스트에서 수학적 추론과 에이전트 검색 성능을 극대화한 효율적인 학습 레시피를 제시한다.

핵심 기여도

**ZGCM-1-7B**는 7.39B 파라미터를 가진 오픈소스 모델로, 256K 컨텍스트를 지원하며, 16K 훈련 속도를 기준으로 약 4.2× 가속화된 훈련 파이프라인을 제시.
**Gated sliding-window attention (SWA)**와 **global attention**을 5:1 비율로 결합한 하이브리드 어텐션 구조를 도입.
**MDP mid-training**과 **progressive curriculum**을 통해 16K → 64K → 256K로 컨텍스트 확장하며 훈련 효율성을 높임.
**Muon optimizer**와 **FP8 정밀도**를 결합한 훈련 파이프라인으로, BF16/AdamW 기준 대비 4.2× 훈련 속도 향상.

핵심 아이디어

ZGCM-1은 **"소형 모델은 외부 도구와 결합하여 내부 추론을 보완할 수 있다"**는 핵심 가정을 바탕으로 설계되었다. 이는 기존의 **수억~수십억 파라미터 모델이 필요하다는 가정**을 깨는 새로운 접근법이다. 모델은 **256K 컨텍스트**를 처리하기 위해 **gated sliding-window attention (SWA)**과 **global attention**을 결합한 하이브리드 어텐션 구조를 채택한다. 이 구조는 **로컬-글로벌 정보 흐름을 균형 있게 조절**하며, **KV-cache를 6.4× 줄이고 처리 속도를 3.94× 향상**시킨다. 또한, **MDP mid-training**을 통해 훈련 중에 상호작용 추적을 **Markov Decision Process**로 재구성하여, **밀도 높은 단계별 의사결정 감독**을 주입한다.

기술적 접근법

**모델 아키텍처**: 32개의 Transformer 레이어, 7.39B 파라미터, 256K 최대 컨텍스트, GQA (32 query heads, 8 key-value heads), RoPE, RMSNorm 적용.
**하이브리드 어텐션**: 27 레이어는 128-token SWA, 5 레이어는 글로벌 어텐션.
**훈련 레시피**:
**Architecture & System Co-design**: SWA + 글로벌 어텐션, FP8 Muon optimizer, TWEO 아웃라이어 억제.
**Progressive Curriculum & MDP Mid-Training**: 16K → 64K → 256K 컨텍스트 확장, 600B 토큰.
**AI-native R&D 워크플로우**: 에이전트 스웜이 클러스터 운영, 데이터 큐레이션, 진단 평가를 자율적으로 관리.

주요 결과

**AIME 2026**: 75.0% (기존 8B 모델 대비 +20.74%)
**WebWalkerQA**: 63.1% (+31.11%)
**Binary Function Search**: 62.0%
**16K 훈련 속도**: 기존 BF16/AdamW 대비 약 4.2× 훈련 가속
**수학, 플래닝, 논리, 인과 추론, 읽기** 등에서 95% 이상 성능
**코드, 언어, 진실성** 등에서는 상대적으로 낮은 성능 (72.24% ~ 79.75%)

의의 및 한계

ZGCM-1은 **7B 규모의 소형 모델**이 **235B 이상의 대형 모델과 경쟁**할 수 있음을 입증하며, **오픈소스 연구 생태계를 확장**하는 데 기여한다. 특히, **FP8 Muon optimizer**와 **gated SWA**를 통한 **에너지 효율성**과 **AI-native R&D 워크플로우**는 연구 재현성과 생산성을 동시에 높인다. 그러나 **진실성 (68.91%)**과 **코드 (72.24%)** 등에서는 여전히 한계가 존재하며, **더 긴 컨텍스트나 복잡한 다단계 추론**에 대한 추가 연구가 필요하다.

실용적 활용

ZGCM-1은 **수학 문제 해결**, **복잡한 검색 작업**, **자동화된 시스템 관리** 등에 활용 가능하다. 특히, **제한된 컴퓨팅 자원**을 가진 연구자나 기관이 **대규모 모델 없이도 높은 수준의 추론 능력을 구현**할 수 있는 실용적 도구로 기능할 수 있다.