VibeGame: Prompt-to-Game Development with AI-Native Engine and Self-Evolving Adversarial Agent Team

Large language model agents have enabled software development through natural-language interaction, but extending this paradigm to end-to-end game development remains challenging. Building a playable game requires coordinating code, scenes, assets, animations, physics, and configurations, while allowing developers to validate their integrated behavior through interactive testing. We introduce VibeGame, a framework for creating complete 2D game projects from natural-language prompts and optional reference images. Its AI-native game engine represents project state as schema-validated structured text and provides frame-synchronous runtime control, enabling agents to inspect game states, execute actions, and verify behavior at their own pace. Built upon this interface, we design an Adversarial Agent Team of eight specialized agents to separate implementation from review, so that problems are found and fixed through multi-round loops. For each conducted and accepted project, we further introduce a training-free self-evolution mechanism to distill it into reusable skeletons, modules, and collaboration contracts for future development. We evaluate prompt-assets-to-game (PA2G), where agents are given an asset library, and prompt-to-game (P2G), where agents generate their own art. On a GameCraft-Bench subset, VibeGame in P2G consistently outperforms a range of agent harnesses in either P2G or PA2G with the same underlying model, including GPT-6.1-Sol.

한 줄 요약

VibeGame은 자연어 프롬프트와 이미지로 2D 게임을 생성하는 AI 네이티브 엔진과 자율 진화하는 대립 에이전트 팀을 결합한 프레임워크이다.

핵심 기여도

AI 네이티브 게임 엔진(VibeGame)을 도입하여 프로젝트 상태를 스키마 검증된 구조화된 텍스트로 표현하고, 프레임 동기식 런타임 제어를 제공.
대립 에이전트 팀(Adversarial Agent Team, AAT)을 설계하여 구현과 검토를 분리, 다중 루프를 통해 문제를 발견하고 수정.
학습 없이도 프로젝트에서 재사용 가능한 스켈레톤, 모듈, 협업 계약을 추출하는 자율 진화 메커니즘 도입.
GameCraft-Bench 서브셋에서 P2G 설정에서 GPT-6.1-Sol 기반의 다른 에이전트 허네스보다 4.19 포인트 높은 성능 기록.

핵심 아이디어

VibeGame은 자연어 프롬프트와 선택적 이미지를 입력으로 받아 완전한 2D 게임을 생성하는 프레임워크로, 기존 게임 개발의 복잡성을 줄이고 AI 에이전트가 직접 게임 상태를 조사하고 수정할 수 있도록 설계되었다. 핵심 아이디어는 AI 네이티브 게임 엔진을 통해 프로젝트의 모든 요소(코드, 씬, 자산, 애니메이션, 물리, 설정)를 구조화된 텍스트로 표현하고, 이 텍스트를 기반으로 에이전트가 런타임 동작을 제어할 수 있도록 하는 것이다. 이는 그래픽 편집기나 이진 자산에 의존하지 않고, 프로젝트 내 요소 간의 의존성을 명확히 표현함으로써 에이전트가 로컬 수정이 다른 부분에 영향을 주는지 확인할 수 있도록 한다.

또한, VibeGame은 구현과 검토를 분리한 대립 에이전트 팀(AAT)을 도입하여, 구현 에이전트가 만든 게임이 의도한 기능을 충족하는지 구조적, 행동적, 프로젝트 수준에서 검토하도록 한다. 이는 단순한 빌드 성공 여부를 넘어, 실제 플레이 중 발생하는 문제를 발견하고 수정하는 데 기여한다.

기술적 접근법

**AI 네이티브 게임 엔진**: 씬, 노드, 자산, 스크립트, 설정 등을 스키마 검증된 구조화된 텍스트로 표현. 프레임 동기식 런타임 제어를 통해 에이전트가 게임 상태를 조사하고, 액션을 주입하고, 결과를 관찰할 수 있음.
**Adversarial Agent Team (AAT)**: 8명의 전문 에이전트로 구성. 구현, 감사, 플레이어, 검토 역할을 분리. 다중 루프를 통해 문제를 발견하고 수정.
**Self-Evolution Mechanism**: 학습 없이도 프로젝트에서 재사용 가능한 스켈레톤, 모듈, 협업 계약을 추출.
**프롬프트-게임(P2G) 및 프롬프트-자산-게임(PA2G) 평가**: GameCraft-Bench 서브셋에서 평가. GPT-6.1-Sol 기반의 다른 에이전트 허네스 대비 4.19 포인트 높은 성능 기록.
**Ablation Study**: AI 네이티브 엔진 제거 시 10.33 포인트, AAT 제거 시 4.63 포인트 성능 하락. GPT-6.1-Sol에서 진화한 경험을 GPT-5.6-Luna에 전달하면 2.92 포인트 성능 향상.

주요 결과

GameCraft-Bench 서브셋에서 VibeGame(P2G)은 GPT-6.1-Sol 기반의 다른 에이전트 허네스 대비 4.19 포인트 높은 성능 기록.
Ablation Study에서 AI 네이티브 엔진 제거 시 10.33 포인트, AAT 제거 시 4.63 포인트 성능 하락.
GPT-6.1-Sol에서 진화한 경험을 GPT-5.6-Luna에 전달하면 2.92 포인트 성능 향상.

의의 및 한계

VibeGame은 자연어 기반 게임 개발의 새로운 패러다임을 제시하며, AI 에이전트가 직접 게임 상태를 조사하고 수정할 수 있는 구조화된 프레임워크를 제공한다. 특히, AI 네이티브 엔진과 대립 에이전트 팀의 결합은 기존의 그래픽 편집기나 이진 자산에 의존하는 방식을 벗어나, 프로젝트 내 요소 간 의존성을 명확히 표현하고, 실제 플레이 중 발생하는 문제를 발견하고 수정하는 데 기여한다. 또한, 학습 없이도 경험을 추출하고 재사용하는 자율 진화 메커니즘은 향후 개발에 유용한 지식을 축적할 수 있도록 한다.

하지만, VibeGame은 2D 게임에만 적용 가능한 한계가 있으며, 3D 게임이나 복잡한 멀티플레이어 환경에서는 추가적인 연구가 필요하다. 또한, 현재는 GPT-6.1-Sol 같은 강력한 모델에 의존하고 있어, 더 다양한 모델 간의 호환성 테스트가 필요하다.

실용적 활용

VibeGame은 게임 개발자, 독립 개발자, 교육 분야에서 활용 가능하다. 자연어로 게임을 생성할 수 있으므로, 프로그래밍 경험이 부족한 사람도 쉽게 게임을 개발