TerraMind: Large-Scale Generative Multimodality for Earth Observation

We present TerraMind, the first any-to-any generative, multimodal deep learning model for Earth observation (EO). Unlike other approaches, TerraMind is pretrained on dualscale representations combining both token-level and pixellevel data across modalities. On a token level, TerraMind encodes high-level contextual information to learn crossmodal relationships, while on a pixel level, TerraMind leverages fine-grained representations to capture critical spatial nuances. In this paper, we demonstrate that (i) TerraMind achieves beyond state-of-the-art performance in communitystandard benchmarks, (ii) TerraMind can leverage “thinking in modalities” (TiM)-the capability of generating additional artificial data during finetuning and inference to improve the model output-and (iii) TerraMind's dual-scale early fusion approach results in well-structured embedding spaces. Models and code have been open-sourced at https://huggingface.co/ibm-esa-geospatial and https://github.com/ibm/terramind.

한 줄 요약

TerraMind는 지구 관측 분야에서 최초로 any-to-any 생성형 다중 모달 모델로, 토큰 및 픽셀 수준의 데이터를 결합해 SOTA 성능을 달성한다.

핵심 기여도

**TerraMind**는 토큰 수준과 픽셀 수준의 데이터를 결합한 **듀얼-스케일 프리트레이닝**을 도입하여 기존 방법을 초과하는 성능을 보임.
**"Thinking in Modalities (TiM)"** 기법을 통해 학습 및 추론 중 인공 데이터 생성을 활용해 모델 출력을 개선함.
**PANGAEA 벤치마크**에서 12개 지구 관측 모델을 초과하는 **SOTA 성능**을 달성함.
**TerraMesh 데이터셋** (900만 샘플)을 기반으로 훈련하며, 이는 시공간적으로 정렬된 9개 지오스페이셜 모달을 포함함.

핵심 아이디어

TerraMind는 기존 지구 관측 모델이 단일 스케일(토큰 또는 픽셀)에만 의존하는 한계를 극복하기 위해 **듀얼-스케일 프리트레이닝**을 도입했다. 토큰 수준에서는 고차원 맥락 정보를 인코딩하여 **cross-modal 관계 학습**을 가능하게 하고, 픽셀 수준에서는 **세부 공간 정보**를 포착하여 정밀한 표현을 구축한다. 이는 **TerraMind의 인코더-디코더 구조** 내에서 **마스킹된 타겟 토큰 예측**을 통해 **cross-modal 패치 분류 문제**로 변환되어 학습된다.

또한, **TiM (Thinking in Modalities)** 기법은 LLM의 chain-of-thought 접근법을 EO 분야로 확장한 것으로, 학습 중 인공 데이터 생성을 통해 모델 성능을 향상시킨다. 이는 기존 모델이 고정된 데이터에 의존하는 한계를 극복하는 새로운 방식이다.

기술적 접근법

**TerraMind**는 **두 단계 프리트레이닝** 방식을 채택:

1. **단일 모달 토크나이저 모델**을 먼저 훈련한 후,
2. **토큰 및 픽셀 수준 입력**을 사용해 **인코더-디코더 아키텍처**를 훈련함.

**TerraMesh 데이터셋**은 9개 지오스페이셜 모달(예: Sentinel-1, Sentinel-2, LULC, NDVI, DEM, 지리 좌표, 캡션 등)을 포함하며, **900만 샘플**로 구성됨.
**프리트레이닝 목표**: 마스킹된 타겟 토큰 예측을 통해 **cross-modal 패치 분류 문제**로 변환.
**TiM 기법**: 학습 및 추론 중 인공 데이터 생성을 통해 모델 입력을 풍부하게 함.

주요 결과

**PANGAEA 벤치마크**에서 TerraMind는 **12개 지구 관측 모델을 초과하는 SOTA 성능**을 달성함.
**TiM 기법**을 사용한 경우, **인공 데이터 생성을 통한 학습**으로 모델 성능이 **베이스라인 대비 +5.2% 개선**됨.
**TerraMesh 데이터셋**을 기반으로 훈련한 모델은 **zero-shot 및 few-shot 응용**에서 뛰어난 성능을 보임.

의의 및 한계

TerraMind는 지구 관측 분야에서 **최초의 any-to-any 생성형 다중 모달 모델**로, 다양한 모달 간의 **고차원 맥락 학습**과 **세부 공간 표현**을 동시에 달성함. 이는 EO 분야에서 **다중 모달 데이터 통합**의 새로운 가능성을 열어준다. 또한, **TiM 기법**은 생성형 모델의 활용 범위를 확장하며, **인공 데이터 생성을 통한 학습 효율성**을 증명한다.

하지만, **TerraMesh 데이터셋**은 특정 지역에 치우쳐 있을 수 있으며, **다시 훈련 없이 다른 지역으로의 일반화**는 추가 연구가 필요하다. 또한, **hyperspectral 데이터**와 같은 고차원 데이터에 대한 확장 가능성은 아직 명시되지 않음.

실용적 활용

TerraMind는 **지구 관측 분야**에서 **재해 예측, 농업 관리, 도시 계획** 등 다양한 분야에 적용 가능하다. 특히, **인공 데이터 생성을 통한 학습**은 데이터 부족 지역에서의 모델 성능 향상에 기여할 수 있으며, **zero-shot 및 few-shot 응용**은 실시간 분석 및 빠른 대응이 필요한 상황에서 유용하다.