vision-language scene-generation photorealism dsm-estimation semantic-maps meshing satellite-to-street geometry-first
Abstract
Generating a street-level 3D scene from a single satellite image is a crucial yet challenging task. Current methods present a stark trade-off: geometry-colorization models achieve high geometric fidelity but are typically building-focused and lack semantic diversity. In contrast, proxy-based models use feed-forward image-to-3D frameworks to generate holistic scenes by jointly learning geometry and texture, a process that yields rich content but coarse and unstable geometry. We attribute these geometric failures to the extreme viewpoint gap and sparse, inconsistent supervision inherent in satellite-to-street data. We introduce Sat3DGen to address these fundamental challenges, which embodies a geometry-first methodology. This methodology enhances the feed-forward paradigm by integrating novel geometric constraints with a perspective-view training strategy, explicitly countering the primary sources of geometric error. This geometry-centric strategy yields a dramatic leap in both 3D accuracy and photorealism. For validation, we first constructed a new benchmark by pairing the VIGOR-OOD test set with high-resolution DSM data. On this benchmark, our method improves geometric RMSE from 6.76m to 5.20m. Crucially, this geometric leap also boosts photorealism, reducing the Fréchet Inception Distance (FID) from $\sim$40 to 19 against the leading method, Sat2Density++, despite using no extra tailored image-quality modules. We demonstrate the versatility of our high-quality 3D assets through diverse downstream applications, including semantic-map-to-3D synthesis, multi-camera video generation, large-scale meshing, and unsupervised single-image Digital Surface Model (DSM) estimation. The code has been released on https://github.com/qianmingduowan/Sat3DGen.
한국어 요약
📋 한 줄 요약
**[3D 생성 / 위성-스트리트 합성]** 단일 위성 영상으로부터 holistic한 거리 수준 3D 장면을 생성하는 geometry-first feed-forward 프레임워크 Sat3DGen 제안.
🎯 핵심 기여도
- 건물 중심 기하-착색 모델과 holistic feed-forward proxy 모델 사이의 트레이드오프(기하 정밀도 vs 의미 다양성)를 정량적으로 진단.
- 극단적 시점 차이와 sparse·inconsistent supervision이라는 위성-거리 데이터 고유 어려움을 해결하기 위해 perspective-view 학습 전략과 새로운 기하 제약을 결합한 geometry-first 방법론 도입.
- VIGOR-OOD 테스트셋과 고해상도 DSM(Digital Surface Model)을 짝지은 새 벤치마크 구축.
- geometric RMSE 6.76m → 5.20m, FID ~40 → 19(Sat2Density++ 대비) 동시 개선.
💡 핵심 아이디어
위성→거리 변환에서 사실성(photorealism)은 기하 정확도가 안정적일 때 자연스럽게 따라온다는 관점. 별도의 이미지 품질 모듈을 추가하는 대신, 기하 학습을 먼저 안정화하면 FID까지 동반 개선된다는 통찰.
🔬 기술적 접근법
- **모델/방법론**: 단일 위성 영상 → 3D 장면 feed-forward 모델 Sat3DGen, perspective-view 학습 전략과 기하 제약을 결합.
- **핵심 기법**: 시점 격차에서 발생하는 기하 오차를 보정하는 새 기하 제약, 명시적 perspective-view supervision, 별도 이미지 품질 모듈 없이 학습.
📊 주요 결과
- VIGOR-OOD + DSM 벤치마크에서 geometric RMSE 6.76m → 5.20m.
- FID ~40 → 19로 Sat2Density++ 대비 큰 폭 개선.
- semantic-map-to-3D 합성, multi-camera 비디오 생성, 대규모 메싱, 비지도 단일 영상 DSM 추정 등 다운스트림 응용 시연.
💭 의의 및 한계
**의의**: 위성→거리 3D 생성에서 기하 우선 설계의 효과를 명시적으로 보이고 응용 다양성을 한 모델로 증명. **한계**: VIGOR-OOD 중심 평가로 도시·자연 환경 다양성에 대한 일반화는 후속 검증 필요.
🚀 실용적 활용
- 자율주행·도시 시뮬레이션을 위한 합성 거리뷰 자산 생성.
- 재난·국방 시나리오에서 위성 영상 기반 빠른 거리 수준 시뮬레이션.
- 비지도 단일 이미지 DSM 추정으로 GIS 파이프라인 보조.