SPADE: Self-Play in Adaptive Synthetic Executable Environments

Continuous self-improvement requires an ever-expanding pool of self-generated, diverse, adaptive goals. For language agents, existing training environment pools (hand-curated, statically synthesized, or frozen-verifier) keep the goal distribution fixed as the learner scales. We introduce SPADE (Self-Play in Adaptive Synthetic Executable Environments), a self-play RL framework in which a single LLM plays two roles: an Environment Designer that writes complete, long-horizon training environments as executable code with an OpenAI Gym-style reset()/step() interface, and a Reasoning Agent that learns to act in them. Each is a stateful, multi-turn environment (state transitions, reward functions, and verification code), so one interface spans reasoning problems and multi-step agentic tool use. The Reasoning Agent's regret is estimated using the gap between its reward with and without privileged hints; in optimizing this regret signal the Environment Designer learns to target environments at the edge of the agent's capabilities while keeping them feasible. Through extensive experimentation, we find several components critical to success: grounding the Environment Designer on documents sampled from a large pretraining corpus, and giving it an accumulated environment memory. Scaling to 30B-parameter models, SPADE improves over the strongest fixed-environment baseline by +5.3 on average across eight held-out math, science, code, and reasoning benchmarks, and lifts the tool-use setting by +5.7 on BFCL-v4 multi-turn and +13.9 on ACEBench-Agent; on the games setting, the margin over the strongest baseline grows with model scale. By making environment design itself a learnable component, SPADE takes a concrete step toward open-ended self-improvement.

한 줄 요약

SPADE는 LLM이 스스로 학습 환경을 생성하며 자기 개선하는 자가 경기 강화 학습 프레임워크로, 30B 파라미터 모델에서 기존 베이스라인 대비 평균 +5.3개선.

핵심 기여도

**SPADE 프레임워크 도입**: 단일 LLM이 Environment Designer와 Reasoning Agent 역할을 수행하며, Gym-style reset()/step() 인터페이스를 사용한 실행 가능한 환경 생성.
**Hint-based regret 보상 도입**: Reasoning Agent의 성능 향상을 측정하여 Environment Designer가 학습자의 능력 한계에 맞춘 환경을 생성.
**Corpus-grounded & memory-augmented 환경 생성 파이프라인**: 사전 학습된 문서와 과거 환경 기억을 기반으로 환경 생성.
**30B+ 규모 실험 성공**: BFCL-v4 multi-turn(+5.7), ACEBench-Agent(+13.9) 등 다중 턴 도구 사용 벤치마크에서 개선.

핵심 아이디어

SPADE는 기존 학습 환경이 고정되어 있어 학습자가 발전할 수 없는 문제를 해결하기 위해, 환경 자체를 학습 가능한 구성 요소로 만든다. Environment Designer는 OpenAI Gym 스타일 인터페이스를 사용해 상태 전이, 보상 함수, 검증 코드를 포함한 실행 가능한 환경을 생성하며, Reasoning Agent는 이 환경에서 학습한다. 핵심 아이디어는 Environment Designer가 Reasoning Agent의 성능 향상을 측정하는 hint-based regret 보상을 기반으로, 학습자의 능력 한계에 가까운 환경을 생성하도록 학습한다는 점이다. 이는 기존의 고정 환경 생성 방식과 달리, 학습자의 성장에 따라 환경이 동적으로 변화함으로써 지속적인 자기 개선이 가능하게 만든다.

기술적 접근법

**Environment Designer**: Gym-style reset()/step() 인터페이스를 사용한 실행 가능한 환경 생성.
**Reasoning Agent**: 생성된 환경에서 학습하며, GRPO(Gradient-based Policy Optimization) 알고리즘을 사용.
**Hint-based regret 보상**: Reasoning Agent의 성능 향상을 측정하여 Environment Designer가 학습자의 능력 한계에 맞춘 환경을 생성.
**Corpus-grounded 환경 생성**: 사전 학습된 문서 샘플을 기반으로 환경 생성.
**Memory-augmented**: 과거 생성된 환경 기억을 활용해 환경 생성.
**30B+ 규모 실험**: Qwen3 모델에서 30B-A3B 규모로 확장.

주요 결과

**Games Setting**: 30B-A3B에서 기존 고정 환경 베이스라인 대비 평균 +5.3 개선, 최대 +7.5 개선.
**Tool-use Setting**: BFCL-v4 multi-turn에서 +5.7, ACEBench-Agent에서 +13.9 개선.
**30B-A3B 모델**: 기존 고정 환경 베이스라인 대비 평균 +5.3 개선, 8개의 수학, 과학, 코드, 추론 벤치마크에서 개선.
**4B 및 8B 모델**: 기존 베이스라인 대비 +5.2 및 +5.7 개선.

의의 및 한계

SPADE는 학습 환경 생성을 자체 학습 가능한 구성 요소로 만드는 점에서 혁신적이며, 기존 고정 환경이 한계를 가진 문제를 해결한다. 특히, hint-based regret 보상은 학습자의 능력 한계에 맞춘 환경 생성을 가능하게 하며, corpus-grounded 및 memory-augmented 환경 생성은 다양한 도메인에서의 성능 향상을 이끈다. 그러나 Environment Designer는 모델의 스케일과 생성 예산에 의해 복잡도가 제한되며, 학습 알고리즘은 여전히 인간 설계된 GRPO를 사용한다. 또한, hint-based regret이 최적의 커리큘럼을 보장하지 않으며, 평가가 고정된 작업 기반이라는 한계가 있다.

실용적 활용

SPADE는 AI 에이전트가 스스로 학습 환경을 생성하며 지속적으로 자기 개선할 수 있는 기반을 제공하므로, 복잡한 추론, 다중 도구 사용, 게임 플레이 등 다양한 분야에서 활용 가능하다. 특히, 대규모 모델에서의 실험 성공은 산업적 AI 개발에서의 환경 생성 자동화를 가능하게 하며, 연구 분야에서도 지속적인 학습 환경 생성을 위한 새로운 접근법을 제시한다.