Tiny but Trusted: Efficient Vision-Language Reasoning for Time-Series Anomaly Detection

Recent advances in Vision-Language Models (VLMs) have achieved impressive performance across many tasks, yet prior studies report unsatisfactory performance when applying large language or multimodal models to finding abnormal patterns in sequential data. Public anomaly detection benchmarks typically provide interval annotations but not natural-language rationales, making it difficult to fine-tune VLMs to produce grounded, interpretable decisions. To address this gap, we construct VisAnomBench, a curated benchmark built from public time-series datasets and augmented with high-quality anomaly explanations selected from multiple large VLMs using fine-grained, task-specific rewards. Through fine-tuning on this benchmark, we develop VisAnomReasoner, a parameter-efficient VLM for time-series anomaly detection. Experimental results on VisAnomBench show that VisAnomReasoner achieves more accurate anomaly localization and consistently outperforms all baselines, with improvements of at least 21.23 and 23.87 percentage points in precision and F1, respectively. Additional experiments on the TSB-AD-U benchmark demonstrate strong cross-benchmark generalization, with VisAnomReasoner improving precision and F1 by 9.57 and 13.39 percentage points, respectively.

📋 한 줄 요약

**[VLM 시계열 이상 탐지]** VisAnomReasoner가 task-specific reward로 큐레이션된 VisAnomBench에 fine-tune된 parameter-efficient VLM — 정밀도·F1을 모든 baseline 대비 최소 21.23·23.87 pp 향상, TSB-AD-U 9.57·13.39 pp cross-bench 일반화.

🎯 핵심 기여도

최근 VLM이 다양 task에서 인상적 성능 보였지만 큰 LLM·multimodal 모델을 sequential data의 비정상 패턴 발견에 적용 시 불만족스러운 성능 보고됨을 지적.
공공 이상 탐지 벤치가 보통 interval annotation만 제공하고 자연어 rationale 부재 — VLM을 grounded·해석 가능 결정 생성하도록 fine-tune하기 어려운 한계.
VisAnomBench 구축 — 공공 시계열 데이터셋에서 큐레이션, 다수 large VLM에서 fine-grained·task-specific reward로 선별된 고품질 이상 explanation으로 augment.
이 벤치마크 fine-tune으로 VisAnomReasoner 개발 — 시계열 이상 탐지용 parameter-efficient VLM. VisAnomBench 결과: 더 정확한 이상 localization, 모든 baseline 대비 정밀도 최소 21.23 pp·F1 최소 23.87 pp 향상. 추가 TSB-AD-U 벤치 실험으로 강한 cross-benchmark 일반화 — 정밀도 9.57·F1 13.39 pp 향상.

💡 핵심 아이디어

시계열 이상 탐지에 VLM을 효과적으로 활용하려면 단순 fine-tune이 아닌 task-specific fine-grained reward로 큐레이션된 explanation-augmented 벤치(VisAnomBench)와 그 위 parameter-efficient fine-tuning이 grounded·해석 가능 결정을 가능케 한다.

🔬 기술적 접근법

**방법론**: VisAnomBench + VisAnomReasoner — explanation-augmented benchmark + parameter-efficient VLM fine-tuning.
**핵심 기법**: (1) 공공 시계열 데이터셋에서 VisAnomBench 큐레이션, (2) 다수 large VLM에서 fine-grained·task-specific reward로 이상 explanation 선별·augment, (3) Parameter-efficient fine-tuning으로 VisAnomReasoner 학습, (4) 이상 localization·natural language rationale 생성, (5) Cross-bench TSB-AD-U로 일반화 검증.

📊 주요 결과

VisAnomBench에서 모든 baseline 대비 정밀도 ≥21.23 pp·F1 ≥23.87 pp 향상.
TSB-AD-U 벤치 정밀도 +9.57·F1 +13.39 pp cross-benchmark 일반화.
더 정확한 이상 localization·해석 가능 rationale.
Parameter-efficient VLM으로 실용 배포.

💭 의의 및 한계

**의의**: VLM의 시계열 이상 탐지 적용 격차 해소, explanation-augmented 벤치로 grounded 학습 가능, parameter-efficient로 실용 배포 friendly, cross-bench 일반화 검증. **한계**: Reward 기반 explanation 선별의 source VLM 품질 의존, 시계열 modality의 시각화 방식 선택 부담, 다양 시계열 도메인(금융·의료·산업) 일반화는 후속.

🚀 실용적 활용

산업 센서·금융·의료 시계열 이상 탐지.
해석 가능 이상 진단 보조.
Multimodal LLM의 sequential 데이터 적용 일반화.