O-VAD: Industrial Video Anomaly Detection through Object-Centric Tracking and Reasoning

Industrial Video Anomaly Detection (IVAD) aims to identify anomalous objects and events in an industrial process, which is crucial for modern manufacturing and quality control systems. Existing VLM-based anomaly reasoning methods are capable of detecting open-ended anomalies in general domains. However, their performance declines in industrial settings characterized by intricate object transformations, strict physics, and procedural constraints. To tackle the complexity of such interaction-intensive detection, we introduce a training-free agentic framework for anomaly detection free of domain-specific knowledge, emphasizing object state evolution like humans inspectors. It is designed to track spatial-temporal dynamics and underlying transformations of detected objects over time, and then reason over the object-wise temporal state trajectories to identify abnormal objects in grounded frames. Our method overcomes limitations of prior approaches that rely on retraining on normal clips or injecting domain knowledge as context for test-time inference. Extensive experiments on three IVAD datasets demonstrate that our method outperforms frontier VLMs, agentic frameworks, and traditional VAD methods fine-tuned on the respective datasets, while providing interpretable reports over anomaly processes and types.

한 줄 요약

O-VAD는 도메인 지식 없이 객체 중심 추적과 추론을 통해 산업 영상 이상 탐지를 수행하는 트레이닝-프리 에이전트 프레임워크이다.

핵심 기여도

**O-VAD**라는 트레이닝-프리 에이전트 프레임워크를 제안하여 도메인 지식, 라벨, 사전 정의된 이상 유형 없이 이상 탐지를 수행.
**SAM3**를 활용한 객체 기반 마스킹과 **object state tracker**를 통해 객체 중심의 시간적 상태 변화를 추적.
**chain-of-thought (CoT)** 추론을 통해 인간 검사자와 유사한 인과적 판단을 내림.
**IPAD, Phys-AD, LiquidAD** 세 데이터셋에서 기존 VLM 및 에이전트 프레임워크를 초과하는 성능을 보임.

핵심 아이디어

기존 VLM 기반 이상 탐지 방법은 일반 도메인에서는 효과적이지만, 산업 환경에서 복잡한 객체 변형, 엄격한 물리적 제약, 해석 가능성 요구에 대응하지 못한다. O-VAD는 객체 중심 추적과 추론을 통해 이러한 문제를 해결한다. 객체는 **VLM-grounded masking**을 통해 감지되고, **object state tracker**를 통해 시간에 따라 상태 변화를 추적한다. 이후, **chain-of-thought (CoT)** 추론을 통해 내재된 물리적 지식과 상식을 기반으로 이상 여부를 판단한다. 이는 인간 검사자가 산업 과정에서 객체 상태 변화를 추적하는 방식을 모방한 것이다.

기술적 접근법

**VLM-grounded masking**을 통해 객체를 감지 및 분할 (SAM3 사용).
**object state tracker**가 객체별 상태 변화를 시간에 따라 추적.
**chain-of-thought (CoT)** 추론을 통해 객체별 시간적 상태 트래젝토리를 기반으로 이상 판단.
**ground → track → reason**의 3단계 에이전트 파이프라인을 사용.
도메인 지식, 라벨, 미리 정의된 이상 유형 없이 작동 (트레이닝-프리).

주요 결과

**IPAD, Phys-AD, LiquidAD** 세 데이터셋에서 기존 VLM (Qwen3-VL-32B, GPT-5), 에이전트 프레임워크, 미세 조정된 전통적 AD 방법을 초과하는 성능 보임.
**비이진, 개방형, 객체 중심** 이상 유형, 이상 프레임, 영향을 받은 객체, 인과 분석을 제공.
**정량적·정성적 평가**에서 기존 방법 대비 우수한 성능과 해석 가능성 확보.

의의 및 한계

O-VAD는 도메인 지식 없이도 산업 영상에서 객체 중심의 시간적 상태 변화를 추적하고, 인간과 유사한 추론을 통해 이상을 탐지함으로써, 기존 VLM 및 전통적 AD 방법의 한계를 극복한다. 특히, **해석 가능성**과 **개방형 출력**은 산업 검사 시스템의 신뢰성과 실용성을 높인다. 그러나, **복잡한 객체 간 상호작용**이나 **동적 환경**에서의 일반화 능력은 추가 연구가 필요하며, **SAM3 기반 객체 감지의 정확도**가 최종 성능에 영향을 줄 수 있다.

실용적 활용

O-VAD는 제조 공정에서의 자동 시각 검사, 품질 관리 시스템, 안전 모니터링 등에 적용 가능하다. 특히, **도메인 지식 없이도 실시간 이상 탐지와 인과 분석**을 제공하므로, 다양한 산업 현장에서 즉시 활용할 수 있는 실용적 가치가 있다.