ViT-CoMer: Vision Transformer with Convolutional Multi-scale Feature Interaction for Dense Predictions

Although Vision Transformer (ViT) has achieved significant success in computer vision, it does not perform well in dense prediction tasks due to the lack of inner-patch information interaction and the limited diversity of feature scale. Most existing studies are devoted to designing vision-specific transformers to solve the above problems, which introduce additional pre-training costs. Therefore, we present a plain, pre-training-free, and feature-enhanced ViT back-bone with Convolutional Multi-scale feature interaction, named ViT-CoMer, which facilitates bidirectional interaction between CNN and transformer. Compared to the state-of-the-art, ViT-CoMer has the following advantages: (1) We inject spatial pyramid multi-receptive field convolutional features into the ViT architecture, which effectively alleviates the problems of limited local information interaction and single-feature representation in ViT. (2) We propose a simple and efficient CNN- Transformer bidirectional fusion interaction module that performs multi-scale fusion across hierarchical features, which is beneficial for han-dling dense prediction tasks. (3) We evaluate the performance of ViT-CoMer across various dense prediction tasks, different frameworks, and multiple advanced pre-training. Notably, our ViT-CoMer-L achieves 64.3% AP on COCO val2017 without extra training data, and 62.1% mIoU on ADE20K val, both of which are comparable to state-of-the-art methods. We hope ViT-CoMer can serve as a new backbone for dense prediction tasks to facilitate future research. The code will be released at https://github.com/Traffic-xlviT-CoMer.

한 줄 요약

ViT-CoMer는 CNN과 트랜스포머 간의 다중 스케일 특징 상호작용을 통해 64.3% AP 성능을 달성한 백본 모델이다.

핵심 기여도

**MRFP 모듈**을 통해 ViT에 다중 수용 필드의 CNN 특징을 주입하여 지역 정보 부족 문제를 해결.
**CTI 모듈**을 제안하여 CNN과 트랜스포머 간의 양방향 다중 스케일 특징 융합을 수행.
**ViT-CoMer-L**은 COCO val2017에서 64.3% AP, ADE20K val에서 62.1% mIoU를 달성.
**추가 학습 없이** 기존 사전 학습된 ViT 가중치를 활용하여 높은 성능을 유지.

핵심 아이디어

ViT는 패치 내부 정보 상호작용이 부족하고 단일 스케일 특징 표현에 제한되어 밀집 예측 작업에서 성능 저하를 겪는다. 이를 해결하기 위해, ViT-CoMer는 CNN의 다중 스케일 특징을 ViT에 통합하는 **MRFP (Multi-Receptive Field Feature Pyramid)** 모듈을 도입한다. 이 모듈은 ViT에 다양한 수용 필드를 가진 CNN 특징을 주입하여 지역 정보 부족 문제를 완화한다. 또한, **CTI (CNN-Transformer Bidirectional Fusion Interaction)** 모듈을 통해 CNN과 트랜스포머 간의 양방향 다중 스케일 특징 융합을 수행함으로써, 더 풍부한 의미 정보를 생성한다. 이는 밀집 예측 작업에서의 성능 향상에 기여한다.

기술적 접근법

**MRFP 모듈**: 다중 수용 필드를 가진 CNN 특징을 ViT에 주입.
**CTI 모듈**: CNN과 트랜스포머 간의 양방향 다중 스케일 특징 융합.
**사전 학습 활용**: ViT 모듈은 DINOv2 등 기존 사전 학습된 가중치를 직접 사용.
**하이퍼파라미터**: AdamW 최적화, 학습률 1×10⁻⁴, 가중치 감소 0.05.
**실험 설정**: COCO, ADE20K 데이터셋, Mask R-CNN, 다양한 ViT 사전 학습.

주요 결과

**COCO val2017**에서 **ViT-CoMer-L**은 64.3% AP를 달성 (기존 ViT 기반 방법 대비 +5.6% APb, +3.4% APm).
**ADE20K val**에서 62.1% mIoU를 달성.
**MRFP + CTI** 모듈을 사용하면 APb +2.5%, APm +1.2% 개선.
**CTI (to V) + CTI (to C)**를 동시에 사용할 때 가장 높은 성능 향상.

의의 및 한계

ViT-CoMer는 기존 ViT의 구조를 유지하면서 CNN의 장점을 결합하여 밀집 예측 작업에서 뛰어난 성능을 보인다. 특히, **추가 사전 학습 없이 기존 ViT 가중치를 활용**할 수 있어 연구 및 개발 효율성을 높인다. 그러나, **CNN-트랜스포머 간 상호작용의 최적 수량**은 4개로 제한되어 더 많은 상호작용이 항상 성능 향상으로 이어지지 않는다는 한계가 있다. 또한, **커널 크기의 증가**는 파라미터 수를 늘리지만, 성능 향상은 제한적이다.

실용적 활용

ViT-CoMer는 객체 탐지, 인스턴스 세그멘테이션, 세멘틱 세그멘테이션 등 다양한 밀집 예측 작업에 적용 가능하다. 특히, **사전 학습된 ViT 모델을 쉽게 활용**할 수 있어 연구자 및 엔지니어가 기존 모델을 최소한의 수정으로 고성능 밀집 예측 작업에 적용할 수 있다.