한 줄 요약
EASE는 사전 학습 모델 기반의 클래스 증분 학습에서 과거 지식을 유지하면서 새로운 클래스를 학습하는 확장 가능한 서브스페이스 앙상블 방법을 제안한다.
핵심 기여도
- 각 새로운 태스크에 대해 가벼운 어댑터 모듈을 학습하여 태스크별 서브스페이스를 생성함.
- 예시 없이 과거 클래스의 새로운 특징을 합성하는 의미 기반 프로토타입 보완 전략을 제안함.
- 7개 벤치마크 데이터셋에서 기존 최고 성능을 달성함.
- 어댑터는 전체 백본의 0.3%에 불과한 파라미터만 소비함.
핵심 아이디어
기존 사전 학습 모델(PTM) 기반의 클래스 증분 학습(CIL)은 새로운 클래스를 학습할 때 과거 클래스의 정보가 손실되는 문제를 겪는다. 이는 PTM의 가중치를 수정하는 과정에서 발생하는 'stability-plasticity dilemma'의 결과이다. EASE는 이 문제를 해결하기 위해, PTM의 가중치를 고정하고, 각 태스크에 맞는 가벼운 어댑터 모듈을 학습하여 고차원 특징 공간 내에서 태스크별 서브스페이스를 생성한다. 이 서브스페이스는 서로 간섭하지 않아 새로운 클래스 학습이 과거 클래스에 영향을 주지 않도록 한다. 또한, 과거 클래스의 프로토타입을 합성하기 위해 의미 공간에서 유사성을 활용하는 전략을 도입하여 예시 없이도 과거 클래스의 새로운 특징을 추정한다.
기술적 접근법
- **Lightweight Adapter Module**: 각 새로운 태스크에 대해 PTM 위에 추가되는 가벼운 어댑터. 전체 백본의 0.3%에 해당하는 파라미터만 사용.
- **High-Dimensional Feature Aggregation**: PTM의 고정된 특징과 어댑터의 특징을 결합하여 다중 서브스페이스에서의 종합적 결정을 가능하게 함.
- **Semantic-Guided Prototype Complement**: 과거 클래스의 프로토타입을 의미 공간의 유사도를 기반으로 합성. 예시 없이도 과거 클래스의 새로운 특징을 추정.
- **Subspace Reweight**: 각 서브스페이스의 예측 결과를 재가중치 적용하여 전체 앙상블의 안정성 향상.
주요 결과
- 7개의 CIL 벤치마크 데이터셋에서 기존 최고 성능을 달성함.
- EASE는 기존 PTM 기반 방법 대비 과거 클래스의 정확도를 유지하면서 새로운 클래스에 대한 적응력을 높임.
- 어댑터는 전체 모델 크기의 0.3%만 추가되며, 예시 없이도 과거 클래스의 특징을 합성함.
의의 및 한계
EASE는 PTM 기반 CIL에서 과거 지식 손실 문제를 해결하는 새로운 접근법을 제시하며, 예시 없이도 과거 클래스의 특징을 합성함으로써 실용성을 높인다. 또한, 가벼운 어댑터를 사용하여 메모리 및 계산 비용을 최소화함. 그러나, 어댑터는 모델 크기를 약간 증가시키며, 이는 확장성에 제약을 줄 수 있다. 향후 연구에서는 어댑터 압축 기법을 통해 이 문제를 해결할 수 있다.
실용적 활용
EASE는 지속 학습이 필요한 실시간 이미지 분류, 모바일 디바이스에서의 리소스 제약 환경, 그리고 예시 수집이 어려운 분산 학습 시스템 등에 적용 가능하다. 특히, 사전 학습된 모델을 기반으로 새로운 클래스를 추가 학습해야 하는 산업 현장에서 유용할 수 있다.