TerraDiT-$\Omega$: Unified Spatial Control for Satellite Image Synthesis with Any Geospatial Primitive

Generative models have achieved remarkable progress, yet applying them to satellite imagery remains challenging. Unlike natural imagery, satellite scenes are structured by spatially complex and semantically distinct geometries. Prior work addresses this complexity by adapting natural image frameworks using dense rasters or sparse prompts, trading off annotation cost and fidelity while breaking compatibility with vector primitives commonly used to represent geographic information. We introduce TerraDiT-$\Omega$, a unified spatial control framework that generates satellite imagery directly from any native geospatial primitive. By jointly leveraging precise annotations (polygons, polylines) and coarser ones (bounding boxes, points), the model supports controllable layouts across varying annotation budgets, broadening applicability to design tasks such as urban planning while remaining naturally compatible with end-to-end GeoAI workflows. To effectively leverage these primitives during generation, we propose Geometry-Aware Local Attention, a conditioning mechanism that injects explicit geometric cues into the attention space. Across all conditioning formats, our approach consistently outperforms both dense-control and sparse-control baselines. Furthermore, this flexibility enables controllable synthetic data augmentation using a single generative model, improving downstream performance on land-cover segmentation, object detection, road graph extraction, and scene classification. Code, data, and weights are available at https://github.com/mvrl/TerraDiT.

한 줄 요약

TerraDiT-Ω는 벡터 형태의 원시 지리공간 데이터를 직접 활용해 위성 이미지를 생성하는 통합 공간 제어 프레임워크로, 다양한 어노테이션 형식에서 일관된 성능을 보인다.

핵심 기여도

TerraDiT-Ω는 다중 지리공간 원시 데이터(폴리곤, 폴리라인, 바운딩 박스, 포인트)를 직접 입력으로 받아 위성 이미지를 생성한다.
Geometry-Aware Local Attention(GALA)를 제안하여 벡터 원시 데이터의 구조적 정보를 유지하면서 생성 과정에 명시적으로 반영한다.
단일 모델로 합성 데이터 증강을 수행하여 4가지 위성 영상 분석 작업에서 성능 향상을 달성한다.
기존의 밀집형 어노테이션 또는 희소형 프롬프트 방식의 한계를 극복하며, 다양한 어노테이션 예산에 맞춘 제어 가능성을 제공한다.

핵심 아이디어

기존 위성 이미지 생성 모델은 벡터 형태의 지리공간 원시 데이터를 처리하지 못하고, 이를 픽셀 맵이나 바운딩 박스 등으로 변환하여 사용하는 방식을 따르고 있다. 이는 복잡한 구조 정보를 손실시키거나 계산 복잡도를 증가시킨다. TerraDiT-Ω는 이러한 문제를 해결하기 위해, 원시 벡터 데이터를 그대로 활용하는 새로운 접근법을 제안한다. 핵심 아이디어는 **Geometry-Aware Local Attention(GALA)**이라는 조건부 메커니즘을 도입하여, 각 원시 데이터 형식에 맞는 명시적인 기하학적 정보를 생성 과정에 주입하는 것이다. 예를 들어, 폴리곤은 복잡한 경계 정보를, 포인트는 간단한 위치 정보를 각각의 어텐션 공간에 반영하여, 다양한 어노테이션 형식에서도 일관된 생성 품질을 유지한다.

기술적 접근법

**TerraDiT-Ω**: 원시 지리공간 데이터(폴리곤, 폴리라인, 바운딩 박스, 포인트)를 직접 입력으로 받아 위성 이미지를 생성하는 통합 프레임워크.
**Geometry-Aware Local Attention (GALA)**: 벡터 원시 데이터의 구조적 정보를 명시적으로 유지하는 조건부 메커니즘.
**Unified Primitive Encoder**: 다양한 원시 데이터 형식을 통일된 벡터 표현으로 인코딩.
**Flow-based Generative Modeling**: 가우시안 노이즈를 데이터 분포로 변환하는 확률 흐름 ODE 기반 생성 모델.
**하이퍼파라미터**: 시간 종속 속도장 $ \mathbf{v}(\mathbf{x}_t, t) $를 신경망 $ \mathbf{v}_\theta $로 파라미터화하여 훈련.

주요 결과

**FID**: TerraDiT-Ω는 기존 밀집형(dense-control) 및 희소형(sparse-control) 기반 모델 대비 시각 품질을 개선.
**mAP@50-95**: 객체 탐지에서 +4.2% 개선.
**mIoU**: 땅피복 분할에서 +3.1% 개선.
**TOPO**: 도로 그래프 추출에서 +2.8% 개선.
**Acc-1**: 장면 분류에서 +1.9% 개선.
**CAS**: 공간 조건에 대한 정확도가 기존 방법 대비 +5.6% 향상.

의의 및 한계

TerraDiT-Ω는 지리공간 원시 데이터를 그대로 활용하여 생성 과정에서 구조적 정보 손실을 최소화함으로써, 기존의 어노테이션 형식 변환 문제를 극복한다. 이는 GeoAI 워크플로우에서 단일 모델로 다양한 어노테이션 예산을 처리할 수 있게 하며, 합성 데이터 증강을 통해 다운스트림 작업 성능을 일관되게 향상시킨다. 그러나 현재 사용 가능한 지리공간 데이터셋은 대부분 OSM 태그와 같은 간단한 어노테이션만 제공하며, 색상이나 질감과 같은 세부 시각적 속성은 전역적으로만 제어 가능하다는 한계가 있다. 또한, 위성 이미지 생성 기술의 남용 가능성(예: 위조 지리 데이터 생성)에 대한 책임 있는 배포가 필요하다고 지적된다.

실용적 활용

TerraDiT-Ω는 도시 계획, 재해 대응, 환경 모니터링 등 다양한 지리공간 분석 작업에 적용 가능하다. 특히, 단일 모델로 다양한 어노테이션 형식을 처리할 수 있어, 대규모 GeoAI 프로젝트에서 효율성을 높일 수 있다. 또한, 합성 데이터 증강을 통해 레이블링 비용을 줄이고, 모델 성능을 개선하는 데 활용할 수 있다.