TESSERA v2: Scaling Pixel-wise Earth Foundation Models

Pixel-wise Earth-observation (EO) foundation models are now achieving state-of-the-art performance via generated spatial embeddings. However, how these models scale and how best to spend a pretraining budget remain poorly understood. We present the largest controlled scaling study for EO to date: 395 training runs on 1,024 GH200 superchips within a fixed pixel-wise Barlow Twins family, each evaluated on 15 downstream tasks. We find that pretraining loss barely predicts downstream performance (|Pearson r| < 0.2), so selecting models by loss wastes a large share of the compute. We also find that, as the training budget grows, the encoder and the data should grow together while the projector stays fixed, which gives a simple rule for allocating compute. Using this rule, we train a family of pixel-wise models (0.5B and 1B, with a 2B model in training) and distill them into compact students for embeddings-as-data deployment. The 21-million-parameter distilled TESSERA v2-1B-M in aggregate outperforms all open and proprietary models tested, some of which are orders of magnitude larger. These students produce Matryoshka representations that are inexpensive to serve: a 16-dimensional prefix keeps 92% of the full 128-dimensional performance at 1/8 of the storage. Upon completion of training we plan to release v2 global embeddings covering 2017-2025. Together, these results give a concrete, empirically grounded recipe for scaling pixel-wise EO foundation models: train large encoders, select by downstream performance, and distil into flexible student models. All code will be released at https://github.com/ucam-eo/tessera.

한 줄 요약

TESSERA v2는 1B 파라미터의 대규모 EO 기초 모델을 학습하고, 16차원의 Matryoshka 임베딩으로 압축하여 기존 모델을 초과하는 성능을 보인다.

핵심 기여도

395회 실행한 Barlow Twins 기반 EO 스케일링 연구에서 pretraining loss가 downstream 성능을 잘 예측하지 못함을 밝힘 (Pearson r < 0.2).
1B 파라미터의 teacher 모델을 학습하고, 21M 파라미터의 TESSERA v2-1B-M으로 지도 학습을 통해 압축하여 기존 모델을 초과함.
128차원 임베딩의 16차원 prefix가 92% 성능을 유지하면서 1/8의 저장 공간을 사용함.
2017-2025년 전 세계 임베딩 데이터를 공개 예정.

핵심 아이디어

기존 EO 기초 모델은 pretraining loss 기반으로 모델을 선택하는 방식이 비효율적임을 발견하고, downstream 성능에 기반한 모델 선택 전략을 제안한다. Barlow Twins 기반의 encoder와 고정된 projector를 사용하여, 학습 예산이 증가할수록 encoder 크기와 데이터 양을 함께 늘리는 방식을 제안한다. 이는 EO 임베딩의 저장 및 추론 효율성을 극대화하는 데 기여한다. Matryoshka 임베딩은 self-supervised 학습으로는 학습되지 않으며, 지도 학습을 통해 prefix 순서를 정의해야 하며, 이는 다른 EO 임베딩 제품에도 적용 가능하다는 점에서 중요하다.

기술적 접근법

**모델 아키텍처**: Barlow Twins 기반의 encoder와 고정된 projector를 사용.
**학습 환경**: 1,024개의 NVIDIA GH200 superchip (Grace CPU + H100 GPU, 96GB HBM3)에서 395회 실험 실행.
**데이터셋**: Sentinel-1/2 데이터를 사용한 pixel-wise 학습.
**하이퍼파라미터**: encoder 크기(0.5B, 1B, 2B), projector 크기 고정, 데이터 확장.
**지도 학습**: 1B teacher 모델을 21M 파라미터의 student 모델로 압축 (TESSERA v2-1B-M).

주요 결과

TESSERA v2-1B-M은 15개 downstream task에서 기존 open 및 proprietary 모델을 초과함.
128차원 임베딩의 16차원 prefix가 92%의 성능을 유지하면서 1/8의 저장 공간을 사용함.
pretraining loss 기반 모델 선택은 254%의 컴퓨팅 자원을 낭비함 (F1).
encoder 크기와 데이터 양을 함께 늘리는 방식이 downstream 성능 개선에 효과적임 (F2).

의의 및 한계

TESSERA v2는 EO 기초 모델의 학습 예산을 효과적으로 할당하는 실용적 전략을 제시하며, 임베딩의 저장 및 추론 효율성을 높인다. 특히, Matryoshka 임베딩은 다양한 사용자 요구에 맞춘 유연한 임베딩 제공이 가능하다는 점에서 혁신적이다. 그러나 2B teacher 모델의 학습이 완료되지 않았으며, 2017-2025년 전 세계 임베딩 데이터는 아직 공개되지 않았다. 또한, 이 연구는 Barlow Twins 기반 모델에만 적용되었으며, 다른 아키텍처에 대한 일반화 가능성은 명시되지 않았다.

실용적 활용

TESSERA v2는 EO 분석에서 라벨 부족, GPU 계산 부담, 데이터 통합 문제를 해결할 수 있는 임베딩-as-data 제품으로 활용 가능하다. 특히, 16차원 prefix는 저장 및 전송 비용이 낮아 IoT, 모바일, 리모트 센싱 등 자원 제약이 있는 환경에서 유용하다. GeoTessera를 통해 사전 계산된 연간 임베딩을 제공하여 사용자는 가벼운 head 모델만 학습하면 된다.