All modalities are equal, but video is more equal: Closing the Cross-Attention Gap in Joint Video Generation

Video is a rich representation of a physical event, capturing appearance, geometry, motion, and temporal evolution. Other modalities, such as 3D body motion or audio, encode narrower aspects of the same event. We find that joint multimodal diffusion transformers exhibit a corresponding asymmetry in cross-modal correspondence: companion modalities develop strong correspondences to video, but the reciprocal correspondences through which they constrain video remain substantially weaker. We express both directions as comparable correspondence distributions over video tokens and define their disagreement as the reciprocal correspondence gap. We introduce RecCAR, standing for Reciprocal Cross-modal Attention Regularization, a KL regularizer that uses the well-established video-to-modality correspondence as a fixed reference and aligns the weaker modality-to-video correspondence toward it. Across joint video-motion and video-audio generation, RecCAR improves the Human Anatomy score from 0.69 to 0.75 and reduces audio-video desynchronization from 0.804 to 0.752, while improving overall generation

한 줄 요약

RecCAR은 비디오-모션 및 비디오-오디오 생성에서 상호 모달 일관성을 향상시키는 경량 KL 정규화 기법이다.

핵심 기여도

RecCAR은 KL 정규화를 사용하여 비디오-모달 상호주의를 강화한다.
비디오-모션 생성에서 Human Anatomy 점수를 0.69 → 0.75로 향상.
비디오-오디오 생성에서 오디오-비디오 비동기화를 0.804 → 0.752로 감소.
기존 모델 구조에 LoRA만 추가하여 외부 라벨 없이 학습 가능.

핵심 아이디어

기존의 다중 모달 생성 모델은 비디오-모달 간의 상호주의가 비대칭적이라는 점을 발견했다. 예를 들어, 비디오가 모션 또는 오디오에 강한 상호주의를 형성하지만, 반대로 모션/오디오가 비디오를 제약하는 경로는 약하다. 이는 모델이 아키텍처상 양방향이지만, 실제로는 한쪽이 지배하는 기능적 비대칭성을 초래한다. RecCAR은 이 문제를 해결하기 위해, 이미 잘 학습된 비디오-모달 상호주의를 고정된 기준으로 삼아, 반대 방향의 상호주의를 KL 정규화를 통해 정렬한다. 이는 모델 내부의 정보를 활용하여 외부 라벨 없이도 상호 모달 일관성을 향상시킬 수 있는 핵심 아이디어이다.

기술적 접근법

**RecCAR (Reciprocal Cross-modal Attention Regularization)**: KL 정규화를 사용한 경량 정규화 기법.
**Stop-gradient 기법**: 강한 비디오-모달 상호주의를 고정하고, 약한 모달-비디오 상호주의를 정렬.
**LoRA (Low-Rank Adaptation)**: 기존 모델 파라미터는 고정하고, LoRA 파라미터만 미세조정.
**Cross-attention 맵 활용**: 기존 모델의 cross-attention 맵을 그대로 사용하여 추가 인퍼런스 구성 요소 필요 없음.
**적용 대상**: EchoMotion (비디오-모션), LTX-2 (비디오-오디오) 등 기존 다중 모달 생성 모델.

주요 결과

**비디오-모션 생성 (EchoMotion)**: Human Anatomy 점수 0.69 → 0.75 (+0.06).
**비디오-오디오 생성 (LTX-2)**: 오디오-비디오 비동기화 점수 0.804 → 0.752 (−0.052).
**AVGen-Bench**: CLAP, AV-CLIP 점수 유지 또는 개선.
**T2AV-Compass**: AV Desync 점수 개선, AAS/MTC (오디오 사실성) 향상.
**VBench**: 모션 부드러움, 동적 정도, 미학 점수 유지 또는 개선.

의의 및 한계

RecCAR은 기존 다중 모달 생성 모델의 비대칭 정보 흐름 문제를 해결함으로써, 상호 모달 일관성을 향상시키는 간단하고 효과적인 정규화 기법을 제시한다. 특히, 외부 라벨이나 추가적인 모델 구조 변경 없이 기존 모델의 내재 정보를 활용한다는 점에서 실용적 가치가 높다. 그러나 RecCAR은 특정 모델(예: EchoMotion, LTX-2)에만 적용되었으며, 다른 모델이나 모달 조합에서의 일반화 가능성은 추가 연구가 필요하다. 또한, RecCAR은 상호 모달 일관성을 향상시키지만, 모델의 생성 품질 자체를 크게 향상시키지는 않는다.

실용적 활용

RecCAR은 영상 제작, 콘텐츠 자동 생성, VR/AR 등에서 비디오와 모션, 오디오를 동시에 생성해야 하는 상황에 적용 가능하다. 특히, 콘텐츠 일관성과 자연스러운 동기화가 중요한 영상 편집, 게임 개발, 콘텐츠 자동화 플랫폼 등에서 유용하게 활용될 수 있다.