Visual In-Context Learning for Large Vision-Language Models

In Large Visual Language Models (LVLMs), the efficacy of In-Context Learning (ICL) remains limited by challenges in cross-modal interactions and representation disparities. To overcome these challenges, we introduce a novel Visual In-Context Learning (VICL) method comprising Visual Demonstration Retrieval, Intent-Oriented Image Summarization, and Intent-Oriented Demonstration Composition. Our approach retrieves images via ''Retrieval&Rerank'' paradigm, summarises images with task intent and task-specific visual parsing, and composes language-based demonstrations that reduce token count and alleviate cross-modal interaction problem. Experimental evaluations on five visual reasoning datasets demonstrate the effectiveness of our method. Moreover, our extensive experiments leverage information flow analysis to elucidate the effectiveness of our method, and investigate the impact of length and position of demonstrations for LVLM. The use of in-context unlearning further shows promise in resetting specific model knowledge without retraining.

한 줄 요약

LVLM에서 ICL 성능을 향상시키기 위해 Visual Demonstration Retrieval, Intent-Oriented Image Summarization, Demonstration Composition을 결합한 VICL 방법을 제안한다.

핵심 기여도

Visual Demonstration Retrieval을 통해 "Retrieval & Rerank" 패러다임으로 관련 이미지 후보를 추출.
Intent-Oriented Image Summarization을 통해 이미지 요약을 생성하여 토큰 수를 줄이고 cross-modal interaction 문제를 완화.
In-Context Unlearning을 도입하여 모델 지식을 특정 조건 하에 재설정 가능하게 함.
5개의 시각 추론 데이터셋에서 ICL 성능 개선 효과를 실험적으로 검증.

핵심 아이디어

기존 LVLM에서 ICL이 제한적인 이유는 cross-modal interaction의 어려움과 시각-언어 표현 공간의 차이에 있다. 본 연구는 이러한 문제를 해결하기 위해 시각 정보를 언어 기반으로 요약하고, 이를 기반으로 ICL을 수행하는 새로운 프레임워크 VICL을 제안한다.

VICL의 핵심은 세 가지 모듈: Visual Demonstration Retrieval, Intent-Oriented Image Summarization, Intent-Oriented Demonstration Composition이다. 특히, 이미지 요약을 통해 토큰 수를 줄이고, 시각 정보를 언어로 변환하여 cross-modal interaction을 줄이는 것이 핵심 아이디어이다. 또한, In-Context Unlearning을 통해 특정 지식을 제거하는 새로운 개념을 도입하여 ICL의 유연성을 확장한다.

기술적 접근법

**Visual Demonstration Retrieval**: 사전 학습된 이미지 인코더를 사용하여 관련 이미지 후보를 검색하고, 텍스트 기반으로 재정렬.
**Intent-Oriented Image Summarization**: 이미지-라벨 쌍에서 작업 의도와 특정 시각 파싱을 활용한 요약 생성.
**Intent-Oriented Demonstration Composition**: 언어 기반의 시연 생성으로 토큰 수를 줄이고, 시각 정보를 언어로 변환.
**In-Context Unlearning**: 추가 학습 없이 특정 지식을 재설정하는 기법을 도입.
**정보 흐름 분석**: 시연의 길이와 위치가 LVLM의 ICL 성능에 미치는 영향을 분석.

주요 결과

5개의 시각 추론 데이터셋에서 VICL 기반 LVLM의 성능이 기존 방법 대비 개선됨.
시연의 길이와 순서가 ICL 성능에 유의미한 영향을 미침.
이미지 요약을 통한 토큰 수 감소로 더 많은 시연을 포함할 수 있음.
In-Context Unlearning을 통해 특정 지식을 제거하는 것이 가능함.

의의 및 한계

VICL은 LVLM에서 ICL의 한계를 극복하고, 시각-언어 상호작용을 언어 기반으로 전환함으로써 성능을 향상시킨다. 특히, In-Context Unlearning은 모델의 지식을 유연하게 조정할 수 있는 새로운 가능성을 제시한다. 그러나, 시각 요약의 질이 최종 성능에 큰 영향을 미칠 수 있으며, 이는 추가적인 연구가 필요하다. 또한, 다양한 시각-언어 작업에서의 일반화 가능성도 향후 연구 주제이다.

실용적 활용

VICL은 시각 질문 답변, 이미지 기반 추론, 멀티모달 챗봇 등 다양한 시각-언어 작업에 적용 가능하다. 특히, 토큰 수 제한이 있는 상황에서 효과적으로 ICL을 수행할 수 있으며, 모델 지식을 유연하게 조정해야 하는 실시간 시스템에도 유용할 수 있다.