reinforcement-learning supervised-fine-tuning visual-reasoning multimodal-reasoning defect-detection domain-knowledge large-multimodal-models industrial-anomaly
Abstract
Industrial anomaly detection has been significantly advanced by Large Multimodal Models (LMMs), enabling diverse human instructions beyond detection, particularly through visually grounded reasoning for better image understanding. However, LMMs lack domain-specific knowledge, which limits their ability to generate accurate responses in complex industrial scenarios. In this work, we present JUDO, Juxtaposed Domain-Oriented Multimodal Reasoner, a framework that efficiently incorporates domain knowledge and context in visual and textual reasoning. Through visual reasoning, our model segments the defect region by juxtaposing query images with normal images as visual domain context, enabling a fine-grained visual comparative inspection. Furthermore, we inject domain knowledge through supervised fine-tuning (SFT) to enhance context understanding and subsequently guide domain reasoning through reinforcement learning (GRPO) with tailored rewards, opting for a domain-oriented reasoning process. Experimental results demonstrate that JUDO achieves superior performance on the MMAD benchmark, surpassing models such as Qwen2.5-VL-7B and GPT-4o. These results highlight the importance of enhancing domain knowledge and context for effective reasoning in anomaly understanding.
한국어 요약
📋 한 줄 요약
**[산업 이상탐지 / 멀티모달 추론]** 정상 이미지를 시각적 도메인 컨텍스트로 병치하고 SFT+GRPO로 도메인 지식을 주입한 산업 이상 QA 멀티모달 reasoner JUDO 제안.
🎯 핵심 기여도
- LMM 기반 산업 이상 탐지가 도메인 특화 지식 부재로 복잡 산업 시나리오에서 정확도가 떨어진다는 문제를 진단.
- 쿼리 이미지와 정상 이미지를 병치(juxtaposition)해 시각적 비교 검사를 수행하는 도메인 지향 멀티모달 reasoner JUDO 제안.
- SFT로 도메인 지식을 주입한 뒤, 맞춤형 보상을 활용한 GRPO 강화학습으로 도메인 지향 추론 과정을 유도하는 2단계 학습 파이프라인 구축.
- MMAD 벤치마크에서 Qwen2.5-VL-7B 및 GPT-4o를 능가하는 성능 보고.
💡 핵심 아이디어
산업 이상은 정상 대비 미세 편차이므로, 쿼리 이미지를 단독으로 보지 말고 정상 이미지를 "시각적 도메인 컨텍스트"로 병치한 뒤 그 차이를 명시적으로 추론하도록 시키면 LMM이 결함 영역을 더 정교하게 분할하고 설명할 수 있다.
🔬 기술적 접근법
- **모델/방법론**: 정상-쿼리 이미지 병치 입력을 받는 멀티모달 LLM, SFT → GRPO의 2단계 학습.
- **핵심 기법**: 시각적 병치 비교 검사로 fine-grained 결함 영역 분할, 도메인 지식 주입용 SFT, 맞춤형 보상으로 도메인 추론 유도하는 GRPO.
📊 주요 결과
- MMAD 벤치마크에서 Qwen2.5-VL-7B 대비 우위.
- 동일 벤치마크에서 GPT-4o도 능가.
- fine-grained 결함 영역 분할 결과 시연.
💭 의의 및 한계
**의의**: 도메인 지식 주입과 비교 추론을 결합해 일반 멀티모달 LLM이 다루기 어려운 산업 이상 QA 격차를 좁힌 사례. **한계**: 정상 이미지의 수급·관리 가정에 의존, 정상 분포가 다양·복잡한 도메인에서 단일 비교 이미지로 충분한지는 추가 검증 필요.
🚀 실용적 활용
- 제조업 결함 검사 자동화 시스템의 멀티모달 보조 추론.
- 비전 검사 라인의 자연어 쿼리 기반 결함 분류·설명 인터페이스.
- 도메인별 vision-language 모델 후속학습 레시피.