OneTracker: Unifying Visual Object Tracking with Foundation Models and Efficient Tuning

Visual object tracking aims to localize the target object of each frame based on its initial appearance in the first frame. Depending on the input modility, tracking tasks can be divided into RGB tracking and RGB+X (e.g. RGB+N, and RGB+D) tracking. Despite the different input modalities, the core aspect of tracking is the temporal matching. Based on this common ground, we present a general framework to unify various tracking tasks, termed as One Tracker. One- Tracker first performs a large-scale pre-training on a RGB tracker called Foundation Tracker. This pretraining phase equips the Foundation Tracker with a stable ability to estimate the location of the target object. Then we regard other modality information as prompt and build Prompt Tracker upon Foundation Tracker. Through freezing the Foundation Tracker and only adjusting some additional trainable parameters, Prompt Tracker inhibits the strong localization ability from Foundation Tracker and achieves parameter- efficient finetuning on downstream RGB+X tracking tasks. To evaluate the effectiveness of our general framework OneTracker, which is consisted of Foundation Tracker and Prompt Tracker, we conduct extensive experiments on 6 popular tracking tasks across 11 benchmarks and our One- Tracker outperforms other models and achieves state-of-the-art performance.

한 줄 요약

OneTracker는 Foundation Tracker와 Prompt Tracker를 결합한 통합적 시각 추적 프레임워크로, 다양한 입력 모달리티에서 최신 성능을 달성한다.

핵심 기여도

Foundation Tracker를 RGB 추적 데이터셋에서 대규모 사전 학습하여 강력한 시간적 매칭 능력을 확보.
Prompt Tracker는 추가 학습 파라미터만 2.8M으로 조정하여, 다중 모달 추적에 파라미터 효율적 미세 조정(fine-tuning)을 적용.
CMT Prompter와 TTP Transformer를 도입하여, 다양한 RGB+X 추적 작업에서 SOTA 성능 달성.
6개 추적 작업, 11개 벤치마크에서 OneTracker가 기존 모델을 상회.

핵심 아이디어

OneTracker는 RGB 추적과 RGB+X 추적을 하나의 프레임워크로 통합하는 새로운 접근법을 제시한다. 기존 연구는 특정 모달리티에만 초점을 맞추거나, 별도의 모델로 설계되어 복잡도와 파라미터 중복이 발생했다. OneTracker는 Foundation Tracker를 RGB 추적에 사전 학습하고, 이후 Prompt Tracker를 통해 추가 모달리티 정보를 prompt 방식으로 통합한다. 이는 NLP에서 사용되는 파라미터 효율적 전이 학습(PETL) 개념을 추적 분야에 도입한 것으로, Foundation Tracker의 핵심 추적 능력을 유지하면서도 RGB+X 작업에 적응한다. 특히, CMT Prompter는 다양한 모달리티 정보를 학습하여 RGB 이미지에 통합하고, TTP Transformer는 추적 작업에 맞춘 Transformer 레이어를 도입하여 성능을 향상시킨다.

기술적 접근법

**Foundation Tracker**: RGB 추적 데이터셋에서 대규모 사전 학습.
**Prompt Tracker**: Foundation Tracker를 고정하고, CMT Prompter와 TTP Transformer를 추가하여 파라미터 2.8M만 조정.
**CMT Prompter**: 다양한 모달리티 정보를 prompt 방식으로 RGB 이미지에 결합.
**TTP Transformer**: 추적 작업에 최적화된 Transformer 레이어로, 파라미터 효율적 학습을 지원.
**학습 전략**: 다중 RGB+X 데이터셋에서 Prompt Tracker를 병렬 학습하며, 모듈별 파라미터 분리로 성능 개선.

주요 결과

6개 추적 작업, 11개 벤치마크에서 OneTracker가 기존 모델을 상회.
Prompt Tracker는 2.8M의 추가 파라미터만 사용해 기존 전체 미세 조정 모델보다 높은 성능을 달성.
CMT Prompter 레이어 수가 증가할수록 RGB+D/T/E 추적 성능 향상, 그러나 RGB+M 추적에서는 성능 저하.
Prompt Tracker는 Foundation Tracker와 유사한 추적 속도를 유지하면서도 정확도 향상.

의의 및 한계

OneTracker는 다양한 추적 작업을 하나의 프레임워크로 통합함으로써, 모델 복잡도와 파라미터 중복을 줄이고, 추적 작업 간의 공통 원리인 시간적 매칭을 효과적으로 활용한다. 특히, NLP에서 유래한 PETL 기법을 추적 분야에 도입한 점이 혁신적이며, 자원 제약이 있는 장치에서도 활용 가능하다는 실용적 가치가 있다. 그러나 일부 추적 작업(예: RGB+M)에서는 CMT Prompter의 효과가 제한적이며, 추가 모달리티에 대한 일반화 능력은 여전히 개선이 필요하다. 또한, 일부 데이터셋의 학습 데이터가 제한되어 있어 다중 작업 학습 시 성능 저하가 발생할 수 있다.

실용적 활용

OneTracker는 자율 주행, 영상 감시, 영상 압축 등 다양한 시각 추적 응용 분야에 활용 가능하다. 특히, 다양한 입력 모달리티를 처리할 수 있는 통합 추적 모델은 복잡한 환경에서의 추적 정확도를 향상시키며, 파라미터 효율적 설계는 자원 제약이 있는 장치에 적합하다.