ReactVAU: A Slow-Fast Decoupled Framework for Streaming Video Anomaly Understanding

In this paper, we propose ReactVAU, a Slow-Fast Decoupled Framework for real-time streaming Video Anomaly Understanding (VAU). Existing VAU methods rely on offline inference with global temporal sampling, which violates causality and prevents deployment in live surveillance streams. Conversely, general streaming video models satisfy causal access but dilute rare transient anomalies during memory compression and often invoke heavyweight MLLMs uniformly over long normal intervals. React VAU addresses this gap with three synergistic components: a lightweight Fast Detection Module based on Spatial Grid Folding (SGF) for continuous anomaly filtering; an Anomaly-Aware Persistent Memory (AAPM) that protects critical visual cues from temporal decay; and a heavyweight Slow Reasoning Module that remains dormant during normal streams and is awakened only by suspicious events for semantic verification and causal description. Extensive experiments on multiple benchmarks demonstrate that ReactVAU operates under strict streaming constraints while simultaneously achieving competitive performance in both anomaly detection and causal reasoning, alongside significantly enhanced computational efficiency by minimizing heavyweight MLLM invocations. Project page is available at https://huiyuiui.github.io/React_VAU/

한 줄 요약

ReactVAU는 실시간 스트리밍 환경에서 비정상 행동을 감지하고 원인을 설명하는 Slow-Fast 분리 프레임워크이다.

핵심 기여도

ReactVAU는 **Slow-Fast 분리 프레임워크**를 도입하여, 실시간 스트리밍의 인과성을 유지하면서도 **MLLM 사용을 최소화**하여 계산 효율성을 1.6배 향상시킴.
**Spatial Grid Folding (SGF)**을 통해 단기 비정상 감지를 2D 공간 추론 문제로 변환하여, 시간 모델링 없이도 **AP 79.55%** 성능 달성.
**Anomaly-Aware Persistent Memory (AAPM)**을 설계하여, 짧은 비정상 특성을 메모리 압축 중 보존함으로써 **XD-Violence 데이터셋에서 AP 88.50%**, **AUC 95.25%** 달성.
**Fast Detection Module**과 **Slow Reasoning Module**의 **가중치 융합 (0.4S_det + 0.6S_reason)**을 통해 정확도와 효율성을 균형 있게 조화.

핵심 아이디어

ReactVAU는 실시간 스트리밍 환경에서 비정상 감지와 원인 설명을 동시에 수행하기 위해 **Slow-Fast 분리 아키텍처**를 제안한다. 기존 모델은 전체 영상 시퀀스를 관찰해야 하며, 이는 인과성을 위반하고 실시간 처리를 어렵게 만든다. 반면 일반 스트리밍 모델은 짧은 비정상 신호를 희석시키거나, 모든 프레임에 무거운 MLLM을 적용해 계산 비용이 높다. ReactVAU는 이 문제를 해결하기 위해 **Fast Detection Module**을 사용해 짧은 시간 내 비정상을 필터링하고, **Slow Reasoning Module**은 비정상이 감지될 때만 작동하여 세부 원인을 설명한다. 이는 **인과성을 유지하면서도 MLLM 사용을 최소화**하여, 실시간 성능을 향상시킨다.

기술적 접근법

**Fast Detection Module**: **Spatial Grid Folding (SGF)**을 기반으로 짧은 시간 내 비정상 감지를 수행. 2D 공간 추론을 통해 시간 모델링 없이도 빠르게 처리.
**Anomaly-Aware Persistent Memory (AAPM)**: **Anomaly Priority Score**와 **Anomaly Pool**을 사용해 짧은 비정상 특성을 메모리 압축 중 보존.
**Slow Reasoning Module**: **MLLM** 기반으로, 비정상이 감지될 때만 작동하여 세부 원인을 설명.
**가중치 융합 전략**: Fast와 Slow 모듈의 점수를 **0.4S_det + 0.6S_reason**으로 결합하여 정확도와 효율성 균형 확보.
**하드웨어 제약에 따른 Threshold 조절**: **τ_trigger**를 조정하여 계산 비용과 정확도 간 균형 최적화.

주요 결과

**XD-Violence** 데이터셋에서 **AP 88.50%**, **AUC 95.25%** 달성.
**UCF-Crime** 데이터셋에서 **AUC 88.44%** 달성.
**SGF 기반 Fast Module**은 미세 조정 후 **AP 79.55%** 성능 향상.
**Slow-Fast 분리 프레임워크** 도입으로 **AP 86.90%** 달성.
**MLLM 사용 빈도 감소**로 **계산 효율성 1.6배 향상**.

의의 및 한계

ReactVAU는 실시간 스트리밍 환경에서 비정상 감지와 원인 설명을 동시에 수행하는 첫 번째 프레임워크로, **인과성을 유지하면서도 MLLM 사용을 최소화**하여 실용성을 높였다. 특히, 짧은 비정상 신호를 보존하는 **AAPM**과 **SGF**를 통해 정확도와 효율성을 균형 있게 조화한 점이 학술적·실용적 가치로 평가된다. 그러나, **모든 스트리밍 환경에 대한 일반화 가능성**은 아직 명시되지 않았으며, **하드웨어 제약에 따른 Threshold 조절**이 필요하다는 한계가 있다.

실용적 활용

ReactVAU는 **실시간 감시 시스템**, **교통 관제**, **공공 안전 모니터링** 등에서 즉각적인 비정상 감지와 원인 설명이 필요한 상황에 적용 가능하다. 특히, **MLLM 사용을 최소화**하여 **저전력 장치**나 **엣지 컴퓨팅 환경**에서도 실현 가능하다.