UniverSat: Resolution- and Modality-Agnostic Transformers for Earth Observation

Vision Transformers (ViT) dominate computer vision. However, their reliance on rigid patch projectors hinders transfer to Earth Observation (EO), where input modalities, scales, and resolutions vary widely. We introduce UniverSat, a ViT-style backbone built around a Universal Patch Encoder that maps patches from arbitrary spatial, spectral, and temporal resolutions, and from both optical and non-optical sensors, into a shared embedding space with a shared set of weights. This enables training a single model on heterogeneous multimodal corpora via self-supervision, yielding robust, sensor-agnostic spatial features. We validate this approach with strong results across classification and segmentation on standard EO benchmarks from GeoBench, PANGEABench, and SpectralEarth. Our code and models are available at https://github.com/gastruc/UniverSat.

한 줄 요약

UniverSat은 EO 분야에서 다양한 해상도와 센서에 대응하는 ViT 기반 모델이다.

핵심 기여도

Universal Patch Encoder를 도입하여 임의의 공간, 스펙트럼, 시간 해상도의 패치를 공유 임베딩 공간으로 매핑.
단일 모델로 이질적인 다중 모달 데이터 학습 가능.
GeoBench, PANGEABench, SpectralEarth에서 강력한 성능 보임.
코드와 모델은 공개됨 (https://github.com/gastruc/UniverSat).

핵심 아이디어

기존 ViT는 고정된 패치 프로젝터를 사용해 EO의 다양한 입력 조건에 제한된다. UniverSat은 Universal Patch Encoder를 통해 공간, 스펙트럼, 시간 해상도와 관계없이 패치를 공유 임베딩 공간으로 매핑함으로써 이 문제를 해결한다. 이는 단일 모델이 이질적인 다중 모달 데이터를 학습할 수 있게 하며, 센서 종류와 관계없이 공간 특성을 추출할 수 있다. 공유 가중치를 통해 모델의 일반화 능력을 높인 것이 핵심이다.

기술적 접근법

Universal Patch Encoder: 다양한 해상도와 모달의 패치를 공유 임베딩 공간으로 매핑.
Self-supervised 학습을 통해 이질적인 EO 데이터셋에서 학습.
사용된 데이터셋: GeoBench, PANGEABench, SpectralEarth.
모델 구조는 ViT 스타일로 설계됨.

주요 결과

GeoBench, PANGEABench, SpectralEarth에서 분류 및 세그멘테이션 성능이 기존 베이스라인 대비 우수함.
정확도, IoU 등 지표에서 기존 모델 대비 개선된 수치 보임 (구체적 수치 미제공).
다양한 센서와 해상도에 대한 일반화 성능이 높음.

의의 및 한계

UniverSat은 EO 분야에서 다양한 센서와 해상도를 처리할 수 있는 유연한 모델로, 다중 모달 학습의 새로운 가능성을 제시한다. 특히, 이질적인 데이터셋을 활용한 self-supervised 학습을 통해 센서 종속성을 줄이는 데 기여한다. 그러나 구체적인 성능 개선 폭이나 특정 센서에 대한 성능 차이는 명시되지 않았으며, 추가 실험과 분석이 필요할 수 있다.

실용적 활용

UniverSat은 위성 영상 분석, 환경 모니터링, 재해 예측 등 다양한 EO 분야에서 활용 가능하다. 특히, 다양한 센서와 해상도를 처리하는 능력은 다중 데이터 통합 분석에 유리하다.