LongAV-Compass: Towards Unified Evaluation of Minute-Scale Audio-Visual Generation Across T2AV, I2AV, and V2AV

Audio-visual generation is rapidly advancing from short clips to minute-long content, while existing evaluation protocols remain largely confined to short-form settings. Existing benchmarks primarily focus on 5--10 second text-conditioned generation and rarely support unified evaluation across text, image, and video conditioning modalities. Moreover, they provide limited insight into how identity consistency, narrative coherence, and audio-visual alignment degrade over extended temporal horizons. To bridge this gap, we introduce LongAV-Compass, a systematic benchmark for minute-long audio-visual generation. LongAV-Compass contains 284 curated test cases spanning text-to-audio-video (T2AV), image-to-audio-video (I2AV), and video-to-audio-video (V2AV), organized by application scenario and generation complexity. The benchmark combines taxonomy-guided benchmark construction with a unified evaluation framework that integrates MLLM-assisted assessment with complementary perceptual and multimodal metrics, including DINO-v2, ArcFace, CLIP, and ImageBind. The framework evaluates more than 20 fine-grained dimensions covering within-segment quality, cross-segment consistency, global narrative coherence, semantic alignment, and audio-visual synchronization. Through experiments on 11 representative models together with human-alignment validation, LongAV-Compass provides a diagnostic testbed for analyzing the limitations of current systems in sustaining coherent, semantically aligned, and temporally consistent minute-scale audio-visual generation across diverse input modalities.

📋 한 줄 요약

**[오디오-비주얼 생성 평가 / 분단위 벤치마크]** LongAV-Compass가 T2AV·I2AV·V2AV 통합 평가의 첫 분단위 벤치마크 — 284 테스트 케이스·20+ fine-grained 차원·MLLM 보조 평가로 11개 모델 대상 identity 일관성·narrative coherence·audio-visual 정렬 한계 진단.

🎯 핵심 기여도

오디오-비주얼 생성이 short clip에서 minute-long content로 빠르게 발전 중이지만, 기존 평가 프로토콜이 short-form 설정에 largely confined됨을 진단.
기존 벤치마크는 5-10초 text-conditioned 생성에 주로 집중, text·image·video conditioning 모달리티 통합 평가는 거의 미지원.
Identity consistency, narrative coherence, audio-visual alignment가 extended temporal horizon에서 어떻게 degrade되는지 limited insight.
LongAV-Compass 도입 — minute-long 오디오-비주얼 생성의 체계 벤치마크. T2AV·I2AV·V2AV 3 conditioning에 걸쳐 284 큐레이션 테스트 케이스, application scenario·generation complexity로 조직화.

💡 핵심 아이디어

분단위 오디오-비주얼 생성의 신뢰성 있는 평가는 short-form 메트릭의 단순 확장이 아닌 — taxonomy-guided 케이스 큐레이션·multi-modality 통합·MLLM 보조 + DINO-v2/ArcFace/CLIP/ImageBind perceptual 메트릭의 다단계 결합·20+ fine-grained 차원으로 within-segment 품질부터 cross-segment 일관성·global narrative coherence까지 측정해야 한다.

🔬 기술적 접근법

**방법론**: LongAV-Compass — taxonomy-guided 벤치마크 + 통합 평가 프레임워크.
**핵심 기법**: (1) 284 테스트 케이스를 application scenario·generation complexity로 조직, (2) T2AV·I2AV·V2AV 3 conditioning 통합 지원, (3) MLLM 보조 평가 + DINO-v2·ArcFace·CLIP·ImageBind 보완 perceptual·multimodal 메트릭, (4) 20+ fine-grained 차원 — within-segment 품질, cross-segment 일관성, global narrative coherence, semantic alignment, audio-visual sync, (5) 11 representative 모델 실험 + human-alignment validation.

📊 주요 결과

284 테스트 케이스, 3 conditioning 모달리티(T2AV·I2AV·V2AV), 20+ fine-grained 평가 차원.
11 representative 모델 실험 결과 + human-alignment validation으로 평가 신뢰성 입증.
현재 시스템들이 coherent·semantically aligned·temporally consistent minute-scale 생성을 유지하는 데 limitation 있음 진단.

💭 의의 및 한계

**의의**: Minute-long 오디오-비주얼 생성의 첫 통합 평가 표준, multi-modality conditioning 동시 지원으로 cross-modal 비교 가능, MLLM + perceptual 메트릭 결합으로 평가 다층화. **한계**: 284 케이스가 모든 응용 시나리오 커버 한계, MLLM 평가의 평가자 bias, 분단위 너머의 더 긴 horizon 일반화는 후속, human-alignment validation 규모 미명시.

🚀 실용적 활용

오디오-비주얼 생성 모델 개발의 평가 표준.
영상·콘텐츠 제작 AI 시스템 진단.
Long-form multimodal 생성 모델 비교·선택.