Safety Fine-Tuning at (Almost) No Cost: A Baseline for Vision Large Language Models

Current vision large language models (VLLMs) exhibit remarkable capabilities yet are prone to generate harmful content and are vulnerable to even the simplest jailbreaking attacks. Our initial analysis finds that this is due to the presence of harmful data during vision-language instruction fine-tuning, and that VLLM fine-tuning can cause forgetting of safety alignment previously learned by the underpinning LLM. To address this issue, we first curate a vision-language safe instruction-following dataset VLGuard covering various harmful categories. Our experiments demonstrate that integrating this dataset into standard vision-language fine-tuning or utilizing it for post-hoc fine-tuning effectively safety aligns VLLMs. This alignment is achieved with minimal impact on, or even enhancement of, the models' helpfulness. The versatility of our safety fine-tuning dataset makes it a valuable resource for safety-testing existing VLLMs, training new models or safeguarding pre-trained VLLMs. Empirical results demonstrate that fine-tuned VLLMs effectively reject unsafe instructions and substantially reduce the success rates of several black-box adversarial attacks, which approach zero in many cases. The code and dataset are available at https://github.com/ys-zong/VLGuard.

한 줄 요약

VLGuard 데이터셋을 활용한 안전 정제가 VLLM의 해로운 출력을 줄이며 성능 저하 없이 안정성을 향상시킨다.

핵심 기여도

VLGuard라는 첫 번째 **비전-언어 안전 정제 데이터셋**을 구축.
기존 VLLM의 안전 정제를 **후처리 정제(post-hoc fine-tuning)** 및 **혼합 정제(mixed fine-tuning)**로 개선.
정제 후 모델이 **FigStep 공격**에 대응하며, 공격 성공률을 **0에 가깝게 감소**.
**LoRA 및 전체 파라미터 업데이트** 모두에서 호환 가능하며, **계산 오버헤드 최소화**.

핵심 아이디어

VLLM은 비전-언어 정제 과정에서 기존 LLM이 학습한 안전 정렬을 잊게 되어, 해로운 콘텐츠 생성에 취약해진다는 점을 발견하였다. 이를 해결하기 위해, 다양한 해로운 범주를 포함한 **VLGuard**라는 비전-언어 안전 정제 데이터셋을 구축하고, 이를 기반으로 정제를 수행함으로써 안전성을 향상시켰다. 기존 VLLM의 정제 프로토콜이 안전 정렬을 해치는 문제를 해결하기 위해, **안전 정제 데이터셋을 기존 정제 과정에 통합**하거나, **정제 후 단계에서 별도로 적용**하는 두 가지 전략을 제안하였다. 이는 기존 안전 정제 기법(예: RLHF)이 VLLM에 직접 적용하기 어려운 문제를 해결하는 새로운 접근법이다.

기술적 접근법

**VLGuard 데이터셋**은 비전-언어 데이터로 구성되며, **Safe-Unsafe, Unsafe, Safe-Safe** 세 가지 하위 집합을 포함.
**후처리 정제(post-hoc fine-tuning)**: 기존 VLLM을 VLGuard로 별도 정제.
**혼합 정제(mixed fine-tuning)**: VLGuard를 기존 정제 데이터와 함께 통합하여 정제.
**LoRA 및 전체 파라미터 업데이트** 모두에서 적용 가능.
**FigStep 공격**을 포함한 **블랙박스 공격**에 대한 방어력을 평가.
**Vizwiz, ScienceQA, MMBench, MM-Vet** 데이터셋을 활용한 도움성 평가.

주요 결과

**VLGuard Safe-Unsafe** 데이터셋에서 정제 후 모델의 **해로운 지시 거부율이 크게 향상**.
**FigStep 공격**에 대한 성공률이 **0에 가까운 수준으로 감소**.
**Vizwiz, ScienceQA, MMBench, MM-Vet**에서 도움성 유지 또는 향상.
**LoRA 기반 정제**로도 **성능 저하 없이 안전성 향상**.

의의 및 한계

VLGuard는 VLLM의 안전 정제를 위한 **첫 번째 전용 데이터셋**으로, 기존 안전 정제 기법이 VLLM에 적용되지 않는 문제를 해결한다. 또한, **후처리 및 혼합 정제** 전략은 기존 모델을 재정제하거나 새로운 모델을 학습할 때 유용한 자원으로 활용 가능하다. 그러나, VLGuard는 **비전-언어 데이터만 포함**하므로, 텍스트 기반 공격에 대한 방어력은 추가 연구가 필요하다. 또한, **데이터셋 크기가 작아** 일부 복잡한 공격에 대한 방어력은 제한될 수 있다.

실용적 활용

VLGuard는 **VLLM의 안전성 테스트**, **새로운 모델 학습**, **기존 모델 보호**에 활용 가능하다. 특히, **산업 현장에서의 안전한 모델 배포**, **사회적 미디어 플랫폼의 해로운 콘텐츠 필터링**, **의료 및 교육 분야의 안전한 AI 도구 개발**에 적용 가능하다.