The Attention Triangle in Audio-Video Models

Audio-video diffusion models rely on cross-modal attention to coordinate text, sound, and visual content, yet this same mechanism can introduce subtle and systematic semantic leakage. We study these models by probing and analyzing the ``attention triangle,'' comprising the three cross-attention edges connecting the text, audio, and video streams, and examine how semantic information is routed across modalities during generation. Our analysis reveals that routing along the audio-video edge is bidirectional: audio can influence video generation, while video can influence audio generation. This edge is shaped by biases encoded in the model's parameters and emerges as a major contributor to leakage: when prompts are in tension with learned priors, cross-modal interactions may override the intended conditioning and reroute semantics toward visually canonical but incorrect outcomes. These effects suggest that semantic artifacts arise not merely from attention spreading beyond its intended target, but from structured, bias-driven interactions along specific pathways. Building on this perspective, we extract attention-derived signals that expose how semantics are distributed and grounded across modalities, and use them as a diagnostic tool to both analyze and deliberately incur leakage under controlled conditions. This enables us to probe the internal dynamics of cross-modal routing and isolate the role of individual interactions. We further leverage these signals to guide inference-time interventions that encourage more consistent cross-modal alignment. Extensive experiments support our analysis and demonstrate improved semantic grounding while preserving generation quality.

한 줄 요약

음성-비디오 디퓨전 모델에서 주의 메커니즘의 삼각 구조를 분석하고, 이를 기반으로 의미 누수를 진단 및 완화하는 방법을 제시한다.

핵심 기여도

**Attention Triangle 분석**: 텍스트, 오디오, 비디오 간의 주의 경로를 삼각 구조로 모델링하여 의미 누수 경로를 정량적으로 분석.
**Audio-Video Edge의 역할 규명**: LTX-2 모델에서 오디오-비디오 간의 주의 경로가 의미 누수의 주요 원인임을 실험적으로 밝힘.
**Attention-derived Signals 활용**: 의미 분포와 소스 속성을 추출하여 누수 진단 및 제어에 활용.
**Inference-time Steering**: 주의 경로를 조절하여 의미 일관성을 향상시키는 실시간 개입 전략 제시.

핵심 아이디어

음성-비디오 디퓨전 모델에서 텍스트, 오디오, 비디오 간의 의미 전달은 **attention triangle**이라는 구조를 통해 이루어진다. 이 삼각 구조는 각 모달리티 간의 **cross-attention edge**를 구성하며, 의미 누수는 특정 경로(특히 오디오-비디오 경로)를 따라 발생한다. 기존 연구는 의미 누수를 단순히 주의 확산의 결과로 보았으나, 본 연구는 **bias-driven interaction**이 특정 경로를 따라 누수를 유발한다고 주장한다. 예를 들어, 텍스트와 모델 학습된 편향이 충돌할 경우, 오디오-비디오 경로가 텍스트 조건을 무시하고 시각적으로 자연스럽지만 의미적으로 잘못된 결과를 생성한다. 이는 **attention-derived signals**를 추출하여 누수 경로를 분석하고, **steering**을 통해 제어할 수 있음을 보여준다.

기술적 접근법

**Attention Triangle**: 텍스트-오디오, 오디오-비디오, 텍스트-비디오 간의 **cross-attention edge**를 삼각 구조로 모델링.
**LTX-2 모델 사용**: 실험은 LTX-2 기반의 오디오-비디오 디퓨전 모델에서 수행됨.
**Attention-derived Signals**: 주의 가중치를 기반으로 의미 분포와 소스 속성을 추출.
**Steering Mechanism**: 특정 주의 경로(예: 오디오-비디오)를 조절하여 의미 일관성을 향상.
**DiT (Diffusion Transformer)**: 텍스트-이미지 생성에서 사용되는 주의 기반 조건부 생성 메커니즘을 확장.

주요 결과

**Audio-Video Edge 누수**: LTX-2에서 오디오-비디오 경로가 의미 누수의 주요 경로로 확인됨 (Fig. 6, Supp. Fig. 7).
**Steering 효과**: 오디오-비디오 경로 조절 시, **소스 속성**(source attribution)은 개선되나, 외형 누수(appearance leakage)는 해결되지 않음.
**전체 경로 조절**: 텍스트-오디오, 오디오-비디오, 텍스트-비디오 경로를 모두 조절할 때, 누수와 소스 속성 모두 개선됨 (Fig. 1).
**일관성 향상**: 다양한 프롬프트에서 누수 패턴이 일관되게 나타나며, 제안된 프레임워크가 누수 진단 및 완화에 효과적임 (Tab. 1, Supp. Fig. 9).

의의 및 한계

본 연구는 오디오-비디오 디퓨전 모델에서 의미 누수의 근본 원인을 **bias-driven interaction**으로 규명하고, 이를 진단 및 제어할 수 있는 새로운 프레임워크를 제시하였다. 특히, **attention-derived signals**를 활용한 누수 분석은 모델 내부 동작을 이해하는 데 기여하며, **steering** 기법은 추론 단계에서 의미 일관성을 향상시키는 실용적 접근법이다. 그러나, **LTX-2 모델에만 국한된 분석**이며, **single-stream 아키텍처**(모든 모달리티를 공유 self-attention 내에서 처리)에 대한 일반화 가능성은 아직 검증되지 않았다. 또한, **오디오 토큰의 공간 정보 부재**가 누수를 유발할 수 있다는 가설은 추가 실험을 필요로 한다.

실용적 활용

본 연구는 멀티모달 생성 모델에서 의미 누수를 진단하고 제어하는 데 활용될 수 있다. 특히, **콘텐츠 생성**(예: 영상, 게임, VR) 분야에서 시각-청각 일관성을 유지하는 데 유용하며, **AI 감시 시스템**이나 **교육용 콘텐츠 생성**에서도 소스 속성 정확도를 높이는 데 기여할 수 있다.