Boosting Continual Learning of Vision-Language Models via Mixture-of-Experts Adapters

Continual learning can empower vision-language models to continuously acquire new knowledge, without the need for access to the entire historical dataset. However, mitigating the performance degradation in large-scale models is non-trivial due to (i) parameter shifts throughout life-long learning and (ii) significant computational burdens associated with full-model tuning. In this work, we present a parameter-efficient continual learning framework to alleviate long-term forgetting in incremental learning with vision-language models. Our approach involves the dynamic expansion of a pre-trained CLIP model, through the integration of Mixture-of-Experts (MoE) adapters in response to new tasks. To preserve the zero-shot recognition capability of vision-language models, we further introduce a Distribution Discriminative Auto-Selector (DDAS) that automatically routes in-distribution and out-of-distribution inputs to the MoE Adapter and the original CLIP, respectively. Through extensive experiments across various settings, our proposed method consistently outperforms previous state-of-the-art approaches while concurrently reducing parameter training burdens by 60%. Our code locates at https://github.com/JiazuoYu/MoE-Adapters4CL

한 줄 요약

시각-언어 모델의 지속 학습 성능을 MoE-Adapters와 DDAS를 통해 60% 파라미터 절감과 3.6~7.0% 정확도 향상으로 개선.

핵심 기여도

CLIP 기반 모델에 Mixture-of-Experts (MoE) Adapters를 동적으로 확장하여 파라미터 효율적 지속 학습 구현.
Distribution Discriminative Auto-Selector (DDAS)를 통해 in-distribution 데이터는 MoE, out-of-distribution 데이터는 원본 CLIP으로 자동 라우팅.
5-shot 설정에서 기존 최고 성능 대비 3.6%, 7.0%, 4.2% 개선.
전체 모델 튜닝 대비 60%의 파라미터 학습 부담 감소.

핵심 아이디어

기존 지속 학습 방법은 전체 모델 파라미터를 조정하는 방식으로 인해 계산 부담이 크고, 새로운 작업에 따라 파라미터가 변동되어 성능 저하가 발생한다. 이를 해결하기 위해, 본 연구는 CLIP 모델 위에 Mixture-of-Experts (MoE) 구조를 도입하여, 각 작업에 맞는 적은 수의 파라미터만 학습하는 방식을 제안한다. MoE-Adapters는 LoRA와 유사한 방식으로 설계되어, 작업별로 필요한 'expert'를 선택적으로 활성화하고, 이는 파라미터 효율성을 높인다. 또한, DDAS는 입력 데이터의 분포를 분석하여 기존 작업에 속하는지 여부를 자동으로 판단하고, 이에 따라 MoE-Adapters 또는 CLIP을 선택적으로 사용함으로써 zero-shot 인식 능력을 유지한다.

기술적 접근법

**기반 모델**: CLIP (Frozen)
**Adapters**: Mixture-of-Experts (MoE) 구조, 각 작업별로 독립적인 라우터 (router)와 expert 모듈 (LoRA 기반)을 추가.
**Incremental Activate-Freeze Strategy**: 이전 작업의 expert와 현재 작업의 expert가 협력적으로 학습되도록 설계.
**DDAS**: task-specific autoencoder를 사용해 in-distribution/out-of-distribution 데이터를 자동 분류.
**하이퍼파라미터**: 1k/3k iteration 실험, expert 수 변화에 따른 안정성 검증.

주요 결과

**파라미터 절감**: 전체 모델 튜닝 대비 60%의 파라미터 학습 부담 감소.
**정확도 향상**: 5-shot 설정에서 기존 최고 성능 대비 3.6%, 7.0%, 4.2% 개선.
**zero-shot 성능 유지**: DDAS를 통해 out-of-distribution 데이터에 대해 CLIP 기반 zero-shot 인식 유지.
**모델 안정성**: expert 수 변화에 따른 성능 변동이 미미하며, 1k iteration 설정에서 더 안정적.

의의 및 한계

본 연구는 대규모 시각-언어 모델에서 지속 학습을 파라미터 효율적으로 수행할 수 있는 새로운 프레임워크를 제시한다. MoE-Adapters는 기존 작업의 지식을 유지하면서 새로운 작업에 빠르게 적응할 수 있으며, DDAS는 zero-shot 인식과 지속 학습을 통합한 새로운 접근법을 제시한다. 그러나 DDAS는 모든 작업에 대해 단일 threshold를 사용하기 때문에, 작업 수가 증가할수록 오류가 발생할 수 있다. 또한, CLIP의 zero-shot 능력을 학습된 지식으로 개선하는 방향은 향후 연구 주제로 남는다.

실용적 활용

본 연구는 이미지-텍스트 분류, 멀티모달 추론, 클래스 증가 학습 등에서 적용 가능하며, 특히 데이터 수집이 어려운 상황에서 few-shot continual learning에 유용하다. 또한, 모델 업데이트 시 전체 파라미터 재학습이 불필요하므로, 실시간 학습이 필요한 산업 현장에도 활용 가능하다.