Token-Based Dual-view Fusion and Adaptation of Large Vision Models for Breast Cancer Classification

Accurate breast cancer classification from mammography requires effective integration of complementary information from craniocaudal (CC) and mediolateral oblique (MLO) views, which provide a more complete characterization of breast abnormalities. However, existing multi-view learning approaches typically rely on feature-level aggregation or single-stage cross-attention, which can entangle view-specific and shared representations and restrict interaction to limited network depths. To address these limitations, we propose a token-centric dual-view learning framework that unifies prompt-based adaptation and cross-view fusion within a frozen vision transformer backbone. The framework reformulates inter-view interaction as structured token-level communication, where dedicated fusion tokens explicitly encode bidirectional information exchange between CC and MLO views via cross-attention, serving as intermediate carriers of cross-view dependencies rather than relying on direct feature fusion. Unlike conventional methods that apply fusion at a single layer, fusion modules are inserted at multiple transformer depths, enabling progressive and repeated interaction across the encoder hierarchy. Fusion tokens are reintegrated into the token sequence and refined by subsequent transformer layers, facilitating hierarchical propagation of complementary information while preserving view-specific structure. Experiments on VinDr-Mammo and CMMD datasets demonstrate consistent improvements over linear probing, prompt-only adaptation, and conventional fusion baselines. On the VinDr-Mammo BI-RADS classification task, the framework achieves 50.40% F1-score and 0.8090 AUC, including a 0.10 AUC improvement over a dual-view fusion baseline in the binary setting. Ablation studies further validate the effectiveness of token-based fusion and multi-depth interaction design.

한 줄 요약

이 연구는 토큰 기반의 이중 뷰 퓨전과 프롬프트 기반 적응을 결합한 Vision Transformer 기반의 유방암 분류 프레임워크를 제안한다.

핵심 기여도

토큰 기반 이중 뷰 퓨전(Token-based dual-view fusion)을 통해 CC와 MLO 뷰 간의 양방향 정보 교환을 구조화하여 기존의 단일 레이어 퓨전 방식의 한계를 극복.
프롬프트 기반 적응(Prompt-based adaptation)과 퓨전 모듈을 Vision Transformer 내부의 여러 깊이에 삽입하여 계층적 정보 통합을 가능하게 함.
VinDr-Mammo 데이터셋에서 50.40% F1-score와 0.8090 AUC를 달성하며, 이진 분류에서 기존 이중 뷰 퓨전 기반 모델 대비 0.10 AUC 개선.
퓨전 토큰(Fusion tokens)을 통해 퓨전 정보를 별도로 유지하고, 후속 트랜스포머 레이어에서 재정제하여 토큰 시퀀스 내부에서의 정보 퍼포먼스를 향상.

핵심 아이디어

기존의 이중 뷰 퓨전 방법은 CC와 MLO 뷰 간의 정보를 단일 레이어에서 퓨전하거나, 퓨전 과정에서 뷰별 정보가 혼합되어 표현의 일관성을 유지하기 어려운 문제가 있었다. 본 연구는 Vision Transformer 내부에서 토큰 수준의 구조화된 상호작용을 통해 이 문제를 해결한다.

구체적으로, 퓨전 토큰(Fusion tokens)을 도입하여 CC와 MLO 뷰 간의 양방향 정보 교환을 명시적으로 모델링하고, 이 토큰을 트랜스포머 시퀀스에 재삽입하여 후속 레이어에서의 정제를 통해 계층적으로 정보를 전달한다. 이는 기존의 잔잔 연결(residual connection) 방식의 퓨전과 달리, 퓨전 정보를 별도의 토큰으로 유지함으로써 표현의 일관성과 풍부함을 동시에 달성할 수 있다.

또한, 프롬프트 기반 적응(Prompt-based adaptation)을 통해 사전 학습된 Vision Transformer의 표현을 유방암 분류에 맞게 조정하면서도, 퓨전 토큰을 통해 뷰 간의 상호작용을 명시적으로 유지함으로써, 뷰별 구조와 공유 정보를 모두 효과적으로 활용할 수 있다.

기술적 접근법

**프레임워크 구조**: MedSigLIP이라는 Vision Transformer를 사용하며, 모든 파라미터는 고정(frozen) 상태로 유지.
**프롬프트 기반 적응**: CC와 MLO 뷰에 대해 공유된 학습 가능한 프롬프트 토큰을 여러 트랜스포머 레이어에 삽입하여 표현 조정.
**토큰 기반 퓨전**: CC와 MLO 뷰 간의 양방향 크로스 어텐션을 통해 퓨전 토큰 생성. 퓨전 토큰은 트랜스포머 시퀀스에 재삽입되어 후속 레이어에서 정제.
**다중 깊이 퓨전**: 퓨전 모듈을 여러 트랜스포머 레이어에 삽입하여 계층적 퓨전 가능.
**최종 퓨전**: 뷰별 임베딩을 연결(concatenate)하여 분류.

주요 결과

**VinDr-Mammo 데이터셋**: 50.40% F1-score, 0.8090 AUC 달성. 이진 분류에서 기존 이중 뷰 퓨전 기반 모델 대비 0.10 AUC 개선.
**CMMD 데이터셋**: F1-score 64.96% (기존 57.57% 대비 +7.39%), AUC 0.7161 (기존 0.7045 대비 +0.0116).
**아블레이션 연구**: 퓨전 토큰 기반 퓨전이 잔잔 연결 기반 퓨전 대비 VinDr-5에서 F1-score 5.22%p, AUC 0.0521 개선.
**프롬프트 깊이**: 트랜스포머 레이어 12번에 삽입 시 최고 성능 (F1-score 47.66%).

의의 및 한계

본 연구는 Vision Transformer 기반의 유방암 분류에서 이중 뷰 정보를 효과적으로 통합하는 새로운 프레임워크를 제시하며, 토큰 기반 퓨전과 다중 깊이 퓨전을 통해 기존 방법의 한계를 극복한다. 특히, 퓨전 토큰을 통해 뷰 간의 정보를 명시적으로 유지하고, 후속 레이어에서 정제함으로써 표현의 일관성과 풍부함을 동시에 달성하는 점이 학술적·실용적 가치가 있다.

한편, 본 연구는 사전 학습된 Vision Transformer를 고정 상태로 사용하며, 일부 실험에서는 헤드 파인튜닝을 통해 성능 향상이 관찰되었으나, 전체적인 성능은 프롬프트와 퓨전 토큰의 효과에 크게 의존한다는 한계가 있다. 또한, 퓨전 토큰의 개수나 위치에 따른 최적화가 추가 연구 필요.

실용적 활용

본 프레임워크는 유방암 진단에서 빠른 정확도 향상이 필요한 클리닉 환경에서 활용 가능하며, 특히 CC와 MLO 뷰를