AnyGameRenderer: Entity-Consistent Generative Rendering Across Games and an Entity-Level Benchmark

AI coding agents can now build small playable games in minutes, but the results usually look like programmer art: gray blockouts, colored geometric primitives, and flat semantic blobs. We present AnyGameRenderer, a video-to-video generative renderer that turns such footage into high-quality visuals with characters, motion detail, and effects. Throughout, it keeps the layout, camera, and every entity's position and timing intact. Our AnyGameRenderer generalizes across a wide range of genres that agents build, such as tower defense, auto-battlers, top-down survivors, turn-based battles, kart racing, and crowd runners. AnyGameRenderer takes plain video as its game-state input, with no complex representations such as engine G-buffers, per-object class labels, or low-poly proxies. Gray blockouts, colored primitives, semantic maps, and wireframes all work as input. It also preserves entity correspondence: group counts stay correct, and entities appear and disappear on the right frame. We implement AnyGameRenderer by LoRA fine-tuning MiniMax-H3 ref2va, a 33B reference-video-conditioned video generation model. Training uses sim10k paired clips from three sources: (i) multi-stream rendering data from 38 agent-made games exported from GEAR, an AI game-creation tool; (ii) two-stream rendering data from Unreal Engine, with programmatically controlled crowds, count changes, and entity scales; and (iii) real gameplay recordings, with pairs reconstructed via 3D-box detection. To evaluate the entity correspondence, we propose an entity-level benchmark of 59 held-out cases with 753 entities, scored against ground-truth boxes. Compared with the base model, AnyGameRenderer better preserves entity correspondence: temporal match rises from 50.9\% to 62.9\%, missed count changes fall from 34.7\% to 21.3\%, and fewer entities are hallucinated or left unrendered.

한 줄 요약

AnyGameRenderer는 AI 생성 게임의 저품질 영상에 고해상도 시각 효과를 추가하면서도 엔티티 위치와 타이밍을 정확히 유지하는 비디오-투-비디오 생성 모델이다.

핵심 기여도

**LoRA 미세조정 기반의 단일 체크포인트 모델**을 통해 다양한 게임 장르와 입력 형식(그레이 박스, 색상 원시도형, 세마틱 맵 등)을 처리.
**엔티티 대응 정확도 향상**: 시간적 일치율 50.9% → 62.9%, 누락된 카운트 변화 감소 34.7% → 21.3%.
**엔티티 렌더링 정확도 평가를 위한 엔티티 레벨 벤치마크** 제안 (59개 테스트 케이스, 753개 엔티티).
**10,330개 훈련 클립**을 사용한 다중 데이터셋 기반 훈련 (GEAR, Unreal Engine, 실제 게임 플레이).

핵심 아이디어

AnyGameRenderer는 AI 생성 게임의 저품질 영상(예: 그레이 박스, 색상 원시도형)을 고해상도 시각 효과가 적용된 영상으로 변환하는 **비디오-투-비디오 생성 모델**이다. 기존 연구들이 특정 장르나 복잡한 입력 형식(예: 객체 라벨, 3D 박스)에 의존했다면, AnyGameRenderer는 **단순 비디오 입력**만으로도 엔티티 대응을 유지하면서 렌더링을 수행한다.

핵심 아이디어는 **엔티티 대응 유지**와 **입력 형식의 유연성**이다. 예를 들어, 12개의 적이 3개가 죽고 9개가 남는 경우, AnyGameRenderer는 이 변화를 정확히 반영해 렌더링한다. 이는 기존의 제로샷 모델이 실패했던 부분이다. 또한, **LoRA 미세조정**을 통해 기존의 33B 규모의 MiniMax-H3 ref2va 모델을 활용하여, 별도의 복잡한 인코딩 없이도 높은 성능을 달성한다.

기술적 접근법

**모델**: MiniMax-H3 ref2va (33B 파라미터)에 **LoRA 미세조정**을 적용.
**입력**: 단순 비디오 (그레이 박스, 색상 원시도형, 세마틱 맵, 와이어프레임 등).
**훈련 데이터**:
GEAR에서 생성된 38개 게임의 멀티스트림 렌더링 데이터
Unreal Engine의 프로그래밍 제어된 2스트림 렌더링 데이터 (엔티티 크기 20~600px, 카운트 변화 포함)
3D 박스 감지로 생성된 실제 게임 플레이 데이터
**총 훈련 클립 수**: 10,330개
**캡션 스키마 설계**: 엔티티 대응을 강제하기 위해 사용.

주요 결과

**엔티티 렌더링 정확도 향상**:
시간적 일치율 (Temporal Match): 50.9% → 62.9%
위치 일치율 (Position Match): 57.1% → 61.9%
미렌더링 비율 (Unrendered Rate): 4.1% → 2.9%
환상 엔티티 비율 (Hallucination Rate): 52.1% → 46.0%
**지원 장르**: 타워 디펜스, 오토-배틀러, 탑다운 서바이버, 턴제 전투, 카트 레이싱, 크라우드 러너 등 8개 이상.
**입력 형식**: 그레이 박스, 색상 원시도형, 세마틱 맵, 와이어프레임 등 5가지.

의의 및 한계

AnyGameRenderer는 AI 생성 게임의 시각적 품질을 향상시키는 데 기여하며, **단일 체크포인트로 다양한 장르와 입력 형식을 처리**할 수 있는 유연한 렌더링 파이프라인을 제시한다. 특히, 엔티티 대응 정확도를 평가하는 **엔티티 레벨 벤치마크** 제안은 기존 연구에서 부족했던 평가 기준을 보완한다.

하지만, **복잡한 3D 렌더링 효과**나 **고도로 상호작용하는 다중 레이어 렌더링**은 아직 다루지 못하며, **입력 영상의 해상도와 프레임 레이트**가 낮을 경우 성능 저하가 발생할 수 있다. 또한, **사용자 지정 스타일 적용 시 일관성 유지**도 개선 여지가 있다.

실용적 활용

AnyGameRenderer는 게임 개발자들이 **빠른 프로토타이핑**과 **스타일 변경**을 용이하게 할 수 있도록 지원한다. 예를 들어, 게임 로직만 개발하고, 렌더링은 AnyGameRenderer를 통해 자동 생성할 수 있다. 또한, **AI 생성 게임의 시각적 완성도 향상**에 활용될 수 있으며, **크라우드 소스 게임 개발 플랫폼**이나 **인디 게임 개발자 도구**에 적합하다.