Efficient Test-Time Adaptation of Vision-Language Models

Test-time adaptation with pre-trained vision-language models has attracted increasing attention for tackling distribution shifts during the test time. Though prior studies have achieved very promising performance, they in-volve intensive computation which is severely unaligned with test-time adaptation. We design TDA, a training-free dynamic adapter that enables effective and efficient test-time adaptation with vision-language models. TDA works with a lightweight key-value cache that maintains a dy-namic queue with few-shot pseudo labels as values and the corresponding test-sample features as keys. Leveraging the key-value cache, TDA allows adapting to test data gradually via progressive pseudo label refinement which is super-efficient without incurring any backpropagation. In addition, we introduce negative pseudo labeling that alleviates the adverse impact of pseudo label noises by assigning pseudo labels to certain negative classes when the model is uncertain about its pseudo label predictions. Extensive experiments over two benchmarks demonstrate TDA's superior effectiveness and efficiency as compared with the state-of-the-art. The code has been released in https://kdiaaa.github.io/tda/

한 줄 요약

TDA는 테스트 시간 적응을 위한 비학습적, 효율적인 동적 어댑터로, 키-벨류 캐시와 부정 가상 라벨링을 통해 CLIP 모델의 성능과 추론 속도를 동시에 개선한다.

핵심 기여도

TDA는 테스트 시간에 **백프로포게이션 없이** 동작하는 **비학습적 어댑터**로, 키-벨류 캐시를 사용하여 효율적인 테스트 시간 적응을 달성한다.
**부정 가상 라벨링**(negative pseudo labeling)을 도입하여, 가상 라벨링의 노이즈 영향을 줄이고 모델의 **로버스트성**을 향상시킨다.
ImageNet 데이터셋 기준, TPT 대비 **12시간 50분 → 16분**으로 **1.6× 가속**하며, 정확도는 **+1.54% 향상**된다.
TDA는 **ResNet-50 및 ViT-B/16** 아키텍처에서 **OOD 정확도 2.74%~3.37% 개선**을 달성한다.

핵심 아이디어

기존 테스트 시간 적응 방법은 테스트 샘플에 대해 **다중 증강**(augmentation)을 생성하고, **엔트로피 최소화**를 통해 가상 라벨을 학습하는 방식을 사용한다. 이는 계산 비용이 매우 높아 실용성이 제한된다. TDA는 이 문제를 해결하기 위해 **백프로포게이션 없이 작동하는 키-벨류 캐시 기반 어댑터**를 설계한다. 키는 CLIP 이미지 인코더에서 추출한 테스트 샘플의 특징, 벨류는 가상 라벨로 구성된다. 이 캐시는 **동적 큐**(dynamic queue) 형태로, 테스트 샘플의 가상 라벨을 점진적으로 개선하며 모델을 적응시킨다.

또한, TDA는 **부정 가상 라벨링**을 도입하여, 모델이 불확실한 예측에 대해 **부정 클래스**(negative class)를 가상 라벨로 할당함으로써, 가상 라벨링의 노이즈를 줄인다. 이는 **긍정 캐시**(positive cache)와 **부정 캐시**(negative cache)를 병합하여, 더 안정적인 라벨링을 가능하게 한다.

기술적 접근법

**TDA 어댑터**: 키-벨류 캐시를 사용하는 **비학습적**(training-free) 어댑터.
키: CLIP 이미지 인코더(Ev)로 추출한 테스트 샘플의 특징.
벨류: 가상 라벨(pseudo label).
캐시는 **동적 큐**(dynamic queue)로 구성되며, 테스트 샘플의 특징과 라벨을 순차적으로 저장하고 업데이트한다.
**부정 가상 라벨링**:
모델이 불확실한 예측에 대해 **부정 클래스**(negative class)를 가상 라벨로 할당.
**부정 캐시**(negative cache)를 별도로 구성하여, 부정 라벨을 저장.
**엔트로피 기반 가상 라벨 개선**:
**낮은 엔트로피**(low entropy)를 가진 예측만 캐시에 저장하여, 라벨 품질을 점진적으로 개선.
**하이퍼파라미터**:
**Shot capacity**: 긍정 캐시는 3 샷, 부정 캐시는 2 샷이 최적.
**엔트로피 기반 필터링**: 확신 있는 샘플만 캐시에 저장.

주요 결과

**ImageNet 데이터셋**에서 TDA는 CLIP-ResNet-50 기준, **정확도 +1.54% 향상**되며, **테스트 시간 12시간 50분 → 16분**으로 **1.6× 가속**.
**OOD 벤치마크**에서 TDA는 TPT 대비 **2.74%~3.08% 정확도 향상**, DiffTPT 대비 **0.94%~3.37% 향상**.
**Cross-domain 벤치마크**에서 TDA는 TPT 대비 **3.37%~2.43%**, DiffTPT 대비 **1.18%~2.06% 정확도 향상**.
**Ablation study** 결과, 긍정 캐시와 부정 캐시의 조합이 **61.35% 정확도**를 달성하며, 개별 캐시보다 1% 이상 성능 향상.

의의 및 한계

TDA는 테스트 시간 적응의 **효율성 문제**를 해결한 첫 번째 연구로, **백프로포게이션 없이 작동**하며, **실시간 적용**이 가능한 실용적 솔루션을 제시한다. 특히, **가상 라벨링의 노이즈 문제**를 해결하기 위한 **부정 가상 라벨링**은 기존 테스트 시간 적응 연구에서 다루어지지 않았던 중요한 기여이다. 또한, **동적 큐 기반 캐시**는 테스트 샘플의 특징과 라벨을 점진적으로 업데이트하며, 모델의 적응력을 높인다.

그러나 TDA는 **가상 라벨링에 의존**하므로, 초기 라벨링이 불안정할 경우 성능 저하가 발생할 수 있다. 또한, **부정 캐시의 샷 수**(shot capacity)가 너무 많거나 적을 경우 성능이 감소하는 문제가 있으며, 이는 **캐시 크기 조정**에 주의가 필요하다.

실용적 활용

TDA는 **실시간 이미지