COPRA: Conditional Parameter Adaptation with Reinforcement Learning for Video Anomaly Detection

Vision-language models (VLMs) have shown strong performance in video anomaly detection (VAD) while providing interpretable predictions. However, existing VLM-based VAD methods suffer from a fundamental mismatch between training and inference in both data distribution and model configuration. First, most approaches rely on static post-training adaptation, limiting generalization under distribution shifts such as unseen environments or anomaly types. Second, they train VLMs on sparse frames from long videos, but perform inference on densely sampled short segments, creating inconsistencies between training and testing. To address these limitations, we propose COPRA, a conditional parameter adaptation framework for VLM-based VAD. Instead of fixed prompts or shared parameter updates, COPRA generates input-specific parameter updates to dynamically adapt a frozen VLM for each video segment during both training and inference. Experiments show strong performance on standard VAD benchmarks, consistently outperforming static baselines in both in-domain and cross-domain settings. Moreover, COPRA generalizes beyond VAD to unseen tasks such as multiple-choice Video Question Answering and Dense Captioning. These results highlight COPRA as an effective weight-space generation framework for scalable, adaptive, and context-aware video understanding. The code will be released at https://github.com/THE-MALT-LAB/COPRA

📋 한 줄 요약

**[비디오 이상 탐지 / VLM]** 강화학습으로 입력별 파라미터 업데이트를 생성해 동결된 VLM을 비디오 세그먼트마다 동적으로 적응시키는 COPRA.

🎯 핵심 기여도

VLM 기반 비디오 이상 탐지(VAD)의 **학습-추론 불일치**(데이터 분포 + 모델 구성)를 해결하는 **조건부 파라미터 적응(COPRA)** 프레임워크 제안
고정 프롬프트나 공유 가중치 업데이트 대신 **입력별(per-segment) 파라미터 업데이트를 생성**하여 동결된 VLM을 동적으로 적응
학습 시 긴 비디오의 희소 프레임, 추론 시 짧은 세그먼트의 밀집 프레임이라는 표본 불일치 해결
표준 VAD 벤치마크에서 정적 베이스라인을 일관되게 능가하고, 비디오 QA·Dense Captioning 등 미지 태스크로도 일반화

💡 핵심 아이디어

VLM 기반 VAD는 두 가지 학습-추론 불일치를 겪는다: (1) 미지 환경/이상 유형 등 분포 이동에 대한 일반화 한계, (2) 학습은 sparse 프레임, 추론은 dense 세그먼트라는 샘플링 불일치. COPRA는 매 세그먼트마다 RL로 생성되는 입력 조건부 파라미터를 통해 두 문제를 동시에 해결한다.

🔬 기술적 접근법

**모델/방법론**: 동결된 VLM + 조건부 파라미터 생성기 (강화학습 학습)
**핵심 기법**: 입력 비디오 세그먼트에 조건화된 파라미터 업데이트를 생성, 매 세그먼트마다 가중치 공간에서 동적 적응. RL로 생성기를 학습해 다운스트림 VAD 성능 최적화

📊 주요 결과

표준 VAD 벤치마크에서 정적 베이스라인 대비 일관된 개선
in-domain 및 cross-domain 설정 모두에서 우수
VAD를 벗어난 비디오 QA, Dense Captioning에서도 일반화 능력 확인
코드 공개: github.com/THE-MALT-LAB/COPRA

💭 의의 및 한계

**의의**: 가중치 공간 생성 프레임워크로 VAD뿐 아니라 다양한 비디오 이해 태스크에 확장 가능한 적응형 패러다임을 제시한다. **한계**: 입력별 파라미터 생성기 학습은 RL 안정성과 추가 연산 비용을 요구하며, 매우 긴 비디오에서의 효율성은 추가 연구가 필요하다.

🚀 실용적 활용

CCTV·교통·산업 안전의 실시간 비디오 이상 탐지
분포 이동이 큰 멀티 도메인 감시 환경
VLM 기반 멀티태스크 비디오 분석 (QA·캡셔닝 등)