GeoStack: A Framework for Quasi-Abelian Knowledge Composition in VLMs

We address the challenge of knowledge composition in Vision-Language Models (VLMs), where accumulating expertise across multiple domains or tasks typically leads to catastrophic forgetting. We introduce GeoStack (Geometric Stacking), a modular framework that allows independently trained domain experts to be composed into a unified model. By imposing geometric and structural constraints on the adapter manifold, GeoStack ensures the foundational knowledge of the base model is preserved. Furthermore, we mathematically demonstrate a weight-folding property that achieves constant-time inference complexity (O(1)), regardless of the number of integrated experts. Experimental results across multi-domain adaptation and class-incremental learning show that GeoStack provides an efficient mechanism for long-term knowledge composition while significantly mitigating catastrophic forgetting. Code is available at https://github.com/QuantitativeImagingLaboratory/GeoStack.

📋 한 줄 요약

**[VLM/지속학습]** 독립 학습된 도메인 전문가들을 기하학적 제약으로 합성하여 catastrophic forgetting을 방지하는 모듈형 프레임워크 GeoStack를 제안한다.

🎯 핵심 기여도

VLM 지식 합성에서 catastrophic forgetting을 완화하는 모듈형 프레임워크 GeoStack 제안
어댑터 매니폴드에 기하학·구조적 제약을 부과하여 베이스 모델의 기초 지식 보존
가중치 폴딩(weight-folding) 특성을 수학적으로 증명, 통합 전문가 수와 무관한 O(1) 추론 복잡도 보장
멀티도메인 적응 및 클래스 점증 학습 실험에서 효율적 장기 지식 합성 검증

💡 핵심 아이디어

서로 다른 도메인·태스크 전문가를 단일 모델로 결합할 때 흔히 발생하는 catastrophic forgetting을, 어댑터를 의도적으로 정렬된 기하 구조 위에 배치함으로써 회피한다. 폴딩 가능한 구조 덕분에 추가 전문가가 늘어도 추론 비용은 일정하게 유지된다.

🔬 기술적 접근법

**모델/방법론**: VLM에 attach되는 모듈형 어댑터를 GeoStack 구조로 합성
**핵심 기법**: 어댑터 매니폴드에 대한 기하학·구조적 제약 + weight-folding 속성을 통한 O(1) 추론 + 도메인별 독립 학습 후 합성

📊 주요 결과

멀티도메인 적응 시나리오에서 catastrophic forgetting 유의미하게 완화
클래스 점증 학습에서 효과적인 장기 지식 누적 입증
통합된 전문가 수와 무관한 O(1) 추론 복잡도 수학적으로 증명
코드 GitHub 공개

💭 의의 및 한계

**의의**: VLM의 지속학습·멀티도메인 확장 문제를 어댑터 합성의 기하학적 관점에서 접근하여 효율성과 안정성을 동시에 확보. **한계**: 어댑터 학습 시 부과되는 기하 제약이 표현 자유도를 제한할 수 있으며, 매우 이질적인 도메인에서의 일반화는 추가 검증 필요.

🚀 실용적 활용

다양한 도메인 적응이 필요한 산업용 VLM의 모듈형 배포
의료·위성·문서 등 도메인별 전문가를 합성한 단일 모델 운영
점증적으로 클래스가 늘어나는 분류·태깅 시스템