Oryx MLLM: On-Demand Spatial-Temporal Understanding at Arbitrary Resolution

Visual data comes in various forms, ranging from small icons of just a few pixels to long videos spanning hours. Existing multi-modal LLMs usually standardize these diverse visual inputs to a fixed resolution for visual encoders and yield similar numbers of tokens for LLMs. This approach is non-optimal for multimodal understanding and inefficient for processing inputs with long and short visual contents. To solve the problem, we propose Oryx, a unified multimodal architecture for the spatial-temporal understanding of images, videos, and multi-view 3D scenes. Oryx offers an on-demand solution to seamlessly and efficiently process visual inputs with arbitrary spatial sizes and temporal lengths through two core innovations: 1) a pre-trained OryxViT model that can encode images at any resolution into LLM-friendly visual representations; 2) a dynamic compressor module that supports 1x to 16x compression on visual tokens by request. These design features enable Oryx to accommodate extremely long visual contexts, such as videos, with lower resolution and high compression while maintaining high recognition precision for tasks like document understanding with native resolution and no compression. Beyond the architectural improvements, enhanced data curation and specialized training on long-context retrieval and spatial-aware data help Oryx achieve strong capabilities in image, video, and 3D multimodal understanding simultaneously. Our work is open-sourced at https://github.com/Oryx-mllm/Oryx.

한 줄 요약

Oryx는 다양한 해상도와 시간 길이의 시공간 데이터를 효율적으로 처리하는 MLLM으로, OryxViT와 Dynamic Compressor를 통해 고정 해상도 제약을 극복한다.

핵심 기여도

OryxViT: 원본 해상도에서 LLM에 최적화된 시각 표현을 생성하는 사전 학습된 시각 인코더.
Dynamic Compressor: 1x~16x까지 요청에 따라 시각 토큰을 압축하는 모듈로, 장시간 비디오 처리 효율성 향상.
데이터 큐레이션 및 훈련 전략: 장문 비디오와 공간 인식 데이터를 활용해 이미지, 비디오, 3D 데이터를 통합 처리하는 능력 강화.
7B 모델 크기로 72B 모델을 능가하는 성능 달성 (NextQA, MMBench-Video 등).

핵심 아이디어

기존 MLLM은 다양한 시각 입력을 고정 해상도로 변환하여 처리하는 방식을 사용했으나, 이는 정보 손실과 처리 효율 저하를 초래한다. Oryx는 OryxViT를 통해 원본 해상도를 그대로 유지하면서 LLM에 적합한 표현을 생성하고, Dynamic Compressor를 통해 필요에 따라 토큰 수를 조절함으로써, 다양한 입력 형태에 유연하게 대응한다. 특히, OryxViT는 적응형 위치 임베딩과 가변 길이 자기 주의를 사용해 다양한 크기의 이미지를 병렬 처리할 수 있다. 이는 기존 SigLIP 인코더가 고정 해상도에 의존하는 반면, OryxViT는 원본 해상도를 활용해 더 높은 정확도를 보이는 핵심 차별점이다.

기술적 접근법

**OryxViT**:
사전 학습된 시각 인코더.
입력 해상도를 고정하지 않고, 원본 해상도에서 처리.
Adaptive Positional Embedding과 Variable-length Self-Attention을 사용.
**Dynamic Compressor**:
1x~16x까지의 압축 비율을 요청에 따라 조절.
Shared Projector를 통해 정보를 융합.
**데이터 큐레이션**:
Long-context retrieval 및 spatial-aware 데이터에 특화된 훈련 전략 적용.
**하이퍼파라미터**:
OryxViT는 768², 1024², 원본 해상도 등 다양한 해상도 실험.
압축 모듈에서는 Avg Pool이 DWConv, Conv-MLP보다 성능 우수함을 확인.

주요 결과

**DocVQA**: OryxViT (원본 해상도)는 78.5% (Partition: 76.3%, SigLIP: 74.8%)
**OCRBench**: OryxViT (원본 해상도)는 572 (Partition: 549, SigLIP: 531)
**MMBench**: OryxViT (원본 해상도)는 69.3% (Partition: 68.9%, SigLIP: 68.0%)
**VideoMME**: Dynamic Compressor (Avg Pool)는 55.4% (MLP: 54.6%)
**MLVU**: Dynamic Compressor (Avg Pool)는 59.3% (MLP: 57.5%)
**NextQA, MMBench-Video, MLVU, LongVideoBench** 등에서 7B 모델 크기로 72B 모델을 능가.

의의 및 한계

Oryx는 다양한 해상도와 시간 길이의 시공간 데이터를 통합 처리할 수 있는 MLLM으로, 기존 고정 해상도 기반 모델의 한계를 극복한다. 특히, 문서 이해와 장시간 비디오 처리에서 높은 정확도를 유지하면서도 처리 효율성을 높이는 점이 학술적·실용적 가치를 제공한다. 그러나, 현재는 이미지, 비디오, 3D 데이터에만 적용되었으며, 더 복잡한 다중 모달 데이터 처리에 대한 확장성은 아직 검증되지 않았다. 또한, 최적 해상도 탐색은 성능 향상에 기여하지만, 훈련 효율성과의 균형을 유지하기 위해 일부 실험에서는 사용하지 않았다.

실용적 활용

Oryx는 문서 분석, 장시간 비디오 요약, 3D 장면 이해 등 다양한 시공간 데이터 처리에 적용 가능하다. 특히, 문서 OCR, 비디오 콘텐츠 요약, AR/VR 환경에서의 3D 객체 인식 등에서 활용도가 높으며, 다양한 해상도와 길이의 입력을 처리하는 유연한 MLLM으로 산업 현장에서의 실용성도 기대된다.