OmniSpectra: A Unified Foundation Model for Universal Spectra Representation Learning

Standard sequence models encode position by token rank rather than physical coordinate, typically forcing practitioners to destructively resample continuous physical signals such as spectra observed across heterogeneous instruments. We identify this coordinate mismatch as a structural limitation in cross-instrument representation learning, and propose OmniSpectra, a wavelength-native foundation model for spectral representation learning: a continuous-coordinate masked autoencoder that discards the integer pixel indexing of sequence modeling. Mapping physical coordinates to a logarithmic basis turns the multiplicative scaling induced by cosmological redshift into a uniform additive shift. In continuous rotary position embeddings, this shared shift cancels from relative token distances rather than producing grid-dependent positional distortion. We further counter the spectral bias inherent to implicit neural decoders with a physics-grounded, resolution-gated Fourier decoder that provides anti-aliasing. Pretrained on eight surveys and benchmarked against seven baselines, our model reaches state-of-the-art performance with only 12.2M parameters while outperforming substantially larger models, indicating that encoding physical structure can substitute for parameter scale.

한 줄 요약

OmniSpectra는 다양한 천문 분광 데이터를 원본 해상도로 학습하는 첫 번째 기초 모델로, 12.2M 파라미터로 기존 대규모 모델을 초과하는 성능을 보인다.

핵심 기여도

**OmniSpectra**는 고정 길이 또는 해상도에 제한되지 않고, 다양한 천문 분광 조사 데이터를 원본 해상도로 학습하는 첫 번째 기초 모델이다.
**Sinusoidal global wavelength encoding**과 **depthwise convolution 기반 local positional embeddings**를 결합한 하이브리드 어텐션 메커니즘을 제안한다.
**Validity-aware self-attention mask**를 통해 패딩 영역을 건너뛰며, 가변 길이 분광 데이터를 처리한다.
8개의 다양한 조사 데이터(5.5백만 개 샘플)를 동시 학습하여, 기존 7개 베이스라인 모델을 초과하는 성능을 달성한다.

핵심 아이디어

기존 시퀀스 모델은 물리적 좌표가 아닌 토큰 순서로 위치를 인코딩하여, 분광 데이터의 물리적 구조를 파괴하는 재샘플링을 요구한다. OmniSpectra는 이 좌표 불일치 문제를 해결하기 위해 **물리적 파장 기반 인코딩**을 도입한다. **Logarithmic basis**를 사용해 우주적 적색편이에 의한 곱셈 스케일링을 일관된 덧셈 이동으로 변환함으로써, **continuous rotary position embeddings**에서 상대 토큰 거리의 일관성을 유지한다. 또한, **resolution-gated Fourier decoder**를 통해 암시적 신경망 디코더의 스펙트럼 편향을 완화하고, **anti-aliasing** 효과를 제공한다.

기술적 접근법

**모델 아키텍처**: Transformer 기반, **masked modeling objective**를 사용한 self-supervised 학습.
**Adaptive patching**: 가변 길이 분광 데이터 처리를 위한 패치 분할.
**Global wavelength encoding**: 파장 기반 sinusoidal embedding.
**Local positional embeddings**: depthwise convolution을 통한 지역적 위치 인코딩.
**Validity-aware self-attention**: 패딩 영역을 건너뛰는 어텐션 마스킹.
**Hybrid attention mechanism**: 전역과 지역 구조를 동시에 포착.
**Fourier decoder**: 물리 기반, 해상도 제어 기능을 갖춘 디코더.
**학습 데이터**: 8개의 조사(5.5M 샘플)를 동시 학습.

주요 결과

**OmniSpectra**는 12.2M 파라미터로 기존 대규모 모델을 초과하는 성능을 보인다.
**Zero-shot generalization**에서 뛰어난 성능을 나타내며, **source classification**, **redshift estimation**, **properties prediction** 등 다양한 천문학적 작업에서 **state-of-the-art** 수준의 성능을 달성한다.
**Ablation study**에서 **global wavelength embedding**이 가장 큰 영향을 미치며, 전체 모델이 가장 낮은 **MSE reconstruction loss**를 보인다.

의의 및 한계

OmniSpectra는 천문학 분광 데이터의 **고해상도**, **가변 길이**, **다양한 조사**를 통합적으로 학습하는 데 성공하며, **표지된 라벨 데이터 없이도 강력한 성능**을 보인다. 이는 기존의 **고정 해상도**, **기기 특정 모델**의 한계를 극복하고, **유니버설 표현 학습**의 가능성을 제시한다. 그러나, **미세 조정 없이 모든 작업에 일반화**하는 데 한계가 있을 수 있으며, **더 복잡한 다중 모달 데이터 통합**에 대한 연구가 필요하다.

실용적 활용

OmniSpectra는 **천문학 분광 분석**, **적색편이 추정**, **별과 은하의 성질 예측** 등 다양한 천문학적 작업에 적용 가능하다. 특히, **대규모 비정제 분광 데이터**를 활용한 **자동 분류 및 예측** 시스템 개발에 유용하며, **다양한 천문 조사 기기**와의 호환성을 고려한 **유연한 AI 인프라 구축**에 기여할 수 있다.