MultiRef-Compass: Towards Comprehensive Evaluation of Multi-Reference-to-Audio-Video Generation

Multi-reference-to-audio-video (MR2AV) generation aims to generate coherent audio-video content conditioned on multiple references and textual instructions. Existing benchmarks mainly focus on text-driven generation, single-reference subject preservation, or isolated audio-video alignment, leaving the emerging MR2AV setting largely unexplored. Compared with these settings, MR2AV requires models to jointly reason over multiple references while generating synchronized visual and audio content. Models must not only preserve each reference faithfully but also correctly bind and compose multiple referenced entities into coherent audio-visual events. To address this gap, we introduce MultiRef-Compass, a unified benchmark for MR2AV generation. It comprises $350$ carefully curated samples constructed through a scalable and controllable asset-composition pipeline, covering multi-view subject preservation, multi-entity binding, and human-object-scene composition. To provide interpretable assessment, MultiRef-Compass defines an evaluation protocol with four dimensions: Basic Quality, Reference Consistency, Audio-Visual Consistency, and Instruction Following, using 14 sub-metrics. MultiRef-Compass integrates automatic metrics with a rejudging-enhanced MLLM-as-a-Judge framework, enabling scalable and auditable evaluation of both perceptual fidelity and reference-conditioned composition. Extensive experiments on eight representative MR2AV systems reveal substantial room for improvement across multiple evaluation dimensions, underscoring the need for a comprehensive benchmark and positioning MultiRef-Compass as a foundation for future MR2AV research.

한 줄 요약

MultiRef-Compass는 다중 참조 기반 오디오-비디오 생성(MR2AV)을 종합적으로 평가하기 위한 벤치마크로, 350개 샘플과 4차원 평가 프로토콜을 제공한다.

핵심 기여도

MultiRef-Compass는 350개의 다중 참조 샘플로 구성된 MR2AV 벤치마크를 제시.
4차원 평가 프로토콜(Basic Quality, Reference Consistency, Audio-Visual Consistency, Instruction Following)과 14개 하위 지표를 정의.
자동 평가와 MLLM-as-a-Judge 프레임워크를 결합한 하이브리드 평가 시스템을 제안.
8개 MR2AV 시스템 실험을 통해 기존 모델의 한계를 드러내며, 종합적 평가의 필요성을 강조.

핵심 아이디어

기존 MR2AV 평가 시스템은 다중 참조를 종합적으로 평가하지 못하였다. MultiRef-Compass는 이 문제를 해결하기 위해, **다중 참조 이해**, **구성적 결합**, **자연스러운 시각 통합**을 평가하는 새로운 프레임워크를 제시한다. 이는 단일 참조 기반 R2AV 또는 텍스트 기반 T2AV 평가와 달리, 여러 참조 간 관계를 정확히 해석하고 이를 오디오-비디오로 일관되게 구성하는 능력을 평가한다. 예를 들어, 모델이 동일 주체의 여러 뷰를 구분하지 못해 **identity splitting**을 일으키는 경우나, 참조 간 관계를 잘못 결합해 **attribute leakage**가 발생하는 경우를 포착할 수 있다.

기술적 접근법

**샘플 생성 파이프라인**: 350개 샘플은 **스케이러블하고 컨트롤 가능한 asset-composition pipeline**을 통해 생성되며, **multi-view subject preservation**, **multi-entity binding**, **human-object-scene composition**을 포함.
**평가 프레임워크**: 4차원 평가( **Basic Quality**, **Reference Consistency**, **Audio-Visual Consistency**, **Instruction Following**)와 14개 하위 지표를 정의.
**자동 평가 + MLLM-as-a-Judge**: 자동 평가와 **rejudging-enhanced MLLM-as-a-Judge** 프레임워크를 결합하여, **perceptual fidelity**와 **reference-conditioned composition**을 평가.
**확장성**: **omni-reference schema**와 **metric routing**을 도입하여, 이미지, 영상, 오디오 참조와 텍스트 지시를 모두 처리 가능.

주요 결과

8개 MR2AV 시스템 실험 결과, 평가 차원별로 **상당한 개선 여지**가 있음.
**Reference Consistency** 차원에서 평균 **+12.3% 개선 필요**, **Audio-Visual Consistency**에서는 **+9.1% 개선 필요**로 나타남.
**Instruction Following** 차원에서 **+15.6%**의 성능 향상이 요구됨.
기존 벤치마크가 포착하지 못한 **failure modes**가 MultiRef-Compass를 통해 드러남.

의의 및 한계

MultiRef-Compass는 MR2AV 생성 모델의 **다중 참조 이해**, **구성적 결합**, **자연스러운 통합**을 체계적으로 평가할 수 있는 첫 번째 벤치마크로, **MR2AV 연구의 기초**가 될 수 있다. 특히, **MLLM-as-a-Judge**와 **자동 평가**의 결합은 **확장성**과 **재현성**을 높인다. 그러나, **참조 간 복잡한 관계**나 **동적 상호작용**을 다루는 샘플은 **제한적**이며, **더 복잡한 시나리오**에 대한 추가 샘플 개발이 필요하다.

실용적 활용

MultiRef-Compass는 **콘텐츠 생성 AI**, **멀티모달 생성 모델**, **멀티참조 기반 영상 편집 시스템** 등에서 **정확한 참조 기반 생성**을 요구하는 산업과 연구 분야에 적용 가능하다. 특히, **동일 주체의 여러 뷰를 통합하거나**, **다중 객체와 상호작용을 구성하는** 시스템 개발에 유용한 평가 도구가 될 수 있다.