UnityShots: Memory-Driven Multi-Shot Audio-Video Generation with Boundary-Aware Gating

Generating a coherent multi-shot video requires structured cross-shot memory. Subject appearance, scene context, and speaker identity must persist across cuts. Existing approaches either train end-to-end over fixed-length sequences and cannot scale, generate shot-by-shot with memory banks that grow linearly, or orchestrate pretrained generators under an LLM planner without a multi-shot-aware backbone. We present UnityShots, a memory-driven multi-shot audio-video generation system built on LTX-2.3, trained on annotated cinematic and music-video shots. The video stream maintains two fixed-size slots, a long-term memory (LTM) slot anchored to the opening shot and a short-term memory (STM) slot holding the immediately preceding tail, both updated at every cut by a boundary-conditioned gate that fuses visual cut probability and beat-tracker signals. The audio stream injects a reference speaker token at every shot to preserve vocal timbre without a sliding audio bank. A discrete cut-type prior, learned through AdaLN, becomes an inference-time control knob over transition strength. We release a benchmark of 200 multi-cultural multi-shot sequences spanning six ethnic regions and ten or more languages, with per-shot reference identities, reference audio, and per-boundary transition labels. Evaluated across I2V, T2V, and R2V conditioning modes, UnityShots leads open-source baselines on every cross-shot coherence metric and matches the strongest closed-source system on the multi-shot axes.

한 줄 요약

UnityShots는 경계 인식 게이팅을 활용한 메모리 기반 멀티샷 오디오-비디오 생성 시스템이다.

핵심 기여도

LTX-2.3 기반으로 훈련된 멀티샷 오디오-비디오 생성 시스템 UnityShots 제안.
장기 기억(LTM)과 단기 기억(STM) 슬롯을 고정 크기로 유지하며, 경계 조건 게이팅을 통해 업데이트.
각 샷에 참조 스피커 토큰을 삽입하여 음성 톤을 유지.
AdaLN을 통해 학습된 이산적 컷 타입 사전을 추론 시 전환 강도 제어에 활용.

핵심 아이디어

기존 연구는 고정 길이 시퀀스 학습, 선형 증가 메모리, 또는 LLM 기반 계획자에 의존하여 멀티샷 생성의 일관성을 보장하지 못했다. UnityShots는 LTX-2.3 모델에 구축된 메모리 기반 접근법을 통해 샷 간 일관성을 유지한다. 특히, 장기 기억 슬롯은 첫 샷에 고정되고, 단기 기억 슬롯은 이전 샷의 끝부분을 유지하며, 두 메모리 슬롯은 경계 조건 게이팅을 통해 업데이트된다. 이 게이팅은 시각적 컷 확률과 비트 추적 신호를 결합하여 샷 전환 시 일관성을 보장한다.

기술적 접근법

**모델**: LTX-2.3 기반.
**메모리 구조**: 고정 크기의 LTM과 STM 슬롯.
**게이팅**: 경계 조건 게이팅을 통해 LTM과 STM 업데이트.
**오디오 처리**: 참조 스피커 토큰 삽입으로 음성 톤 유지.
**전환 제어**: AdaLN을 통해 학습된 이산 컷 타입 사전 활용.

주요 결과

UnityShots는 I2V, T2V, R2V 조건 설정에서 모든 샷 간 일관성 지표에서 오픈소스 베이스라인을 앞선다.
다문화 멀티샷 벤치마크(200개 샷, 6개 지역, 10개 이상 언어)에서 최고 성능.
가장 강력한 클로즈드-소스 시스템과 멀티샷 축에서 동일한 성능.

의의 및 한계

UnityShots는 멀티샷 생성에서 샷 간 일관성을 유지하는 새로운 메모리 기반 접근법을 제시하며, 음성 톤과 시각적 컨텍스트를 모두 고려한 통합 시스템으로 학술적·실용적 가치가 있다. 그러나 사용된 데이터셋은 주로 영화 및 음악 영상에 국한되어 있어, 일반적인 비디오 생성 상황에 대한 일반화 능력은 명시되지 않음.

실용적 활용

UnityShots는 영화 제작, 음악 영상 제작, 멀티모달 콘텐츠 자동 생성 등에 적용 가능하다. 특히, 다국어 및 다문화 콘텐츠 제작에서 샷 간 일관성을 유지하면서 다양한 조건에 맞춘 생성이 가능하다.