ODTrack: Online Dense Temporal Token Learning for Visual Tracking

Online contextual reasoning and association across consecutive video frames are critical to perceive instances in visual tracking. However, most current top-performing trackers persistently lean on sparse temporal relationships between reference and search frames via an offline mode. Consequently, they can only interact independently within each image-pair and establish limited temporal correlations. To alleviate the above problem, we propose a simple, flexible and effective video-level tracking pipeline, named ODTrack, which densely associates the contextual relationships of video frames in an online token propagation manner. ODTrack receives video frames of arbitrary length to capture the spatio-temporal trajectory relationships of an instance, and compresses the discrimination features (localization information) of a target into a token sequence to achieve frame-to-frame association. This new solution brings the following benefits: 1) the purified token sequences can serve as prompts for the inference in the next video frame, whereby past information is leveraged to guide future inference; 2) the complex online update strategies are effectively avoided by the iterative propagation of token sequences, and thus we can achieve more efficient model representation and computation. ODTrack achieves a new SOTA performance on seven benchmarks, while running at real-time speed. Code and models are available at https://github.com/GXNU-ZhongLab/ODTrack.

한 줄 요약

ODTrack은 온라인 토큰 전파를 통해 비디오 프레임 간 밀집한 시간적 연관성을 학습하는 실시간 성능의 비디오 추적 프레임워크이다.

핵심 기여도

기존 오프라인 이미지-쌍 기반 추적의 한계를 극복하고, 비디오 레벨 추적 파이프라인인 ODTrack을 제안.
두 가지 시간적 토큰 전파 어텐션 메커니즘을 도입하여, 타겟의 구분 가능한 특성을 토큰 시퀀스로 압축.
7개의 추적 벤치마크에서 최신 최고 성능(SOTA) 달성.
토큰 전파를 통해 복잡한 온라인 업데이트 전략을 회피하고, 효율적인 모델 표현과 계산 가능.

핵심 아이디어

ODTrack은 기존 추적 알고리즘들이 주로 오프라인 방식으로 한 프레임 쌍만 기반으로 타겟을 추적하는 한계를 해결하기 위해, 비디오 전체를 입력으로 받아 시간적 연관성을 밀집하게 학습하는 새로운 접근법을 제안한다. 이는 비디오를 연속적인 문장처럼 인식하고, 토큰 시퀀스를 통해 프레임 간의 자동 회귀적 연관성을 모델링한다. 기존 방법은 한 프레임 쌍만을 사용해 타겟 정보를 전파하지만, ODTrack은 여러 프레임을 포함한 비디오 클립을 입력으로 받아, 타겟의 시간적 궤적을 더 정확하게 파악한다. 특히, 토큰 전파를 통해 과거 정보를 다음 프레임의 추론에 활용함으로써, 복잡한 온라인 업데이트 전략 없이도 추적 성능을 향상시킨다.

기술적 접근법

**ODTrack**: 비디오 레벨 추적 파이프라인.
**Temporal Token Propagation Attention Mechanism**: 두 가지 방식(세parate, concatenation)으로 구현.
**비디오 클립 입력**: 임의 길이의 비디오 프레임을 입력으로 받아, 시간-공간 궤적 관계를 학습.
**토큰 시퀀스 압축**: 타겟의 구분 특성을 토큰 시퀀스로 압축하여, 프레임 간 연관성을 전파.
**Ablation Study**: 토큰 전파의 중요성 검증 실험에서, 토큰 전파가 없을 경우 AUC 점수가 1.2% 감소함을 확인.
**비디오 클립 길이 실험**: 클립 길이가 2에서 3으로 증가할 때 AUC 0.3% 향상, 이후 추가 증가 시 성능 개선 없음.
**샘플링 범위 실험**: 샘플링 범위가 200에서 1200으로 확장될 때 AUC 성능 향상.

주요 결과

**LaSOT, TrackingNet, GOT10K, LaSOT ext, VOT2020, TNL2K, OTB100** 7개 벤치마크에서 SOTA 성능 달성.
**AUC 점수**: 토큰 전파가 없을 경우 1.2% 감소 (Ablation Study).
**비디오 클립 길이 3**: AUC 0.3% 향상.
**샘플링 범위 1200**: AUC 성능 향상.
**실시간 추적 속도**: 명시되지 않음.

의의 및 한계

ODTrack은 비디오 레벨 추적을 위한 새로운 패러다임을 제시하며, 기존 오프라인 추적 방식의 한계를 극복한다. 특히, 토큰 전파를 통해 과거 정보를 활용하는 방식은 추적 알고리즘의 효율성과 정확도를 동시에 향상시키는 데 기여한다. 또한, 복잡한 온라인 업데이트 전략을 회피함으로써 모델의 계산 효율성을 높인다. 그러나, 비디오 클립 길이가 너무 길어지면 성능 향상이 없거나 오히려 학습 부담이 증가한다는 한계가 존재한다. 이는 모델이 너무 많은 정보를 처리해야 하기 때문이며, 적절한 클립 길이 선택이 필요하다.

실용적 활용

ODTrack은 실시간 비디오 분석이 필요한 산업, 예를 들어 드론 추적, 자율주행, 보안 감시 등에 적용 가능하다. 또한, 다중 객체 추적 및 장기 추적 상황에서도 유용하게 활용될 수 있다.