G-MAD: A Game-Based Data Generation Framework for Multi-View RGB-T Aerial Object Detection

This work introduces G-MAD, an open-source framework that uses Arma3 to generate synchronized multi-view RGB-T data for aerial object detection. G-MAD addresses key limitations of real-world aerial dataset construction, including limited viewpoint control, imperfect RGB-T alignment and high annotation cost. The framework supports structured scenario specification, controllable multi-view camera placement, simultaneous visible/thermal capture, and automatic bounding box annotation using engine-level geometric metadata. These capabilities enable controlled studies of viewpoint variation, multi-modal fusion, and synthetic-to-real transfer in aerial object detection. Besides, using G-MAD, we construct and release AMOD, a new large-scale multi-view aerial RGB-T object detection benchmark. The source code and the dataset are available at https://unique-chan.github.io/G-MAD-Project.

한 줄 요약

G-MAD는 Arma3 기반의 다중 뷰 RGB-T 항공 객체 탐지 합성 데이터 생성 프레임워크로, AMOD 벤치마크를 구축하여 실세계 이전 학습을 지원한다.

핵심 기여도

G-MAD는 Arma3를 활용한 구조화된 RGB-T 항공 객체 탐지 데이터 생성 프레임워크로, 시나리오 지정, 동기화된 다중 뷰 캡처, 자동 객체 주석 기능을 제공.
AMOD라는 새로운 대규모 RGB-T 항공 객체 탐지 벤치마크를 구축 및 공개.
엔진 수준의 기하 정보를 활용한 자동 경계 상자 주석 기술을 적용.
SQF 스크립트 언어를 사용한 Arma3 내부 시뮬레이션 제어를 구현.

핵심 아이디어

기존 항공 RGB-T 데이터셋은 시점 제어, 센서 동기화, 주석 비용 등의 문제로 인해 제한적이었다. G-MAD는 이러한 문제를 해결하기 위해 Arma3 게임 엔진을 기반으로 구조화된 데이터 생성 파이프라인을 제안한다. Arma3는 열화상 캡처와 스크립트 가능한 카메라 기능을 제공하며, G-MAD는 이를 통해 시나리오 기반의 구조화된 데이터 생성을 가능하게 한다. 특히, G-MAD는 SQF 스크립트를 통해 시나리오 지정, 캡처, 주석 단계를 통합적으로 관리하며, 엔진 수준의 기하 정보를 활용해 자동 경계 상자 주석을 생성한다. 이는 기존의 수동 주석 작업을 대체하며, 데이터 생성의 효율성을 높인다.

기술적 접근법

G-MAD는 SQF 스크립트 언어를 사용하여 Arma3 내부 시뮬레이션을 제어하는 엔드투엔드 데이터 생성 파이프라인으로 설계되었다. 세 단계로 구성된다:
1. **시나리오 지정 (Scenario Specification)**: 객체 배치, 시간, 날씨, 배경 등 데이터 생성 조건을 파라미터화.
2. **시나리오 샘플링 및 동기화된 다중 뷰, 다중 모달 캡처 (Scenario Sampling and Synchronized Multi-View, Multi-Modal Capture)**: 고정된 시나리오 내에서 다양한 시점과 센서 설정(예: 카메라 포즈, 감지 모달)으로 캡처.
3. **자동 주석 및 내보내기 (Automatic Annotation and Export)**: 엔진 수준 기하 정보를 활용한 경계 상자 자동 주석.
이를 통해 G-MAD는 RGB-T 쌍 데이터를 생성하며, AMOD 데이터셋을 구축한다.

주요 결과

G-MAD를 활용해 AMOD라는 새로운 RGB-T 항공 객체 탐지 벤치마크를 구축.
AMOD는 다중 뷰, RGB-T 데이터를 포함하며, 시점 강건성, RGB-T 학습, 합성-실세계 이전 학습을 연구할 수 있는 플랫폼 제공.
G-MAD는 GTA V 기반 파이프라인과 달리 Arma3를 활용하여 열화상 캡처를 지원하며, 기존 방식보다 더 구조화된 데이터 생성 가능.
G-MAD는 자동 주석 기능을 통해 수동 주석 작업을 대체하며, 데이터 생성 비용을 줄임.

의의 및 한계

G-MAD는 항공 객체 탐지 분야에서 구조화된 합성 데이터 생성을 가능하게 하며, AMOD 벤치마크는 시점 변화, 다중 모달 융합, 합성-실세계 이전 학습 연구에 기여한다. 특히, Arma3를 활용한 열화상 캡처와 SQF 스크립트 기반의 자동 주석 기술은 기존 게임 기반 데이터 생성 파이프라인의 한계를 극복한다. 그러나 G-MAD는 Arma3의 라이선스 제약을 따르며, 상업적 사용이 불가능하다는 점이 한계이다. 또한, 실제 센서와의 정확한 대응 관계를 검증하는 추가 연구가 필요하다.

실용적 활용

G-MAD는 항공 객체 탐지 알고리즘 개발, 다중 모달 융합 연구, 합성-실세계 이전 학습 실험 등에 활용 가능하다. 특히, 고비용의 실제 센서 데이터 수집이 어려운 연구 환경에서 효과적인 대안이 될 수 있다. 또한, AMOD 벤치마크는 연구자들이 다양한 시점 및 환경 조건에서 모델 성능을 평가할 수 있는 플랫폼으로 활용될 수 있다.