SepGen: Multi-Stem Audio-Video Separation and Generation in a Single Model

A 4D audio-visual scene comprises a video, the dynamic geometry it depicts, and the sound sources that populate it, each with its own position and trajectory. Rendering such a scene from a novel viewpoint requires that every source be available as an individual waveform, so that it can be localized in the scene and propagated to the observer before the signals are mixed. Joint audio-video generators can synthesize the video and its soundtrack, but the soundtrack is emitted as a single audio-mix in which the sources are not individually accessible. We present SepGen, which extends a pretrained audio-video generator to emit the video, the mixed soundtrack, and one waveform per captioned source in one joint sampling run. SepGen supports two complementary modes: generation and separation. In generation mode, each source caption specifies what its stem contains. A two-speaker dialogue, for example, comes out as one stem per speaker in the original turn order. In separation mode, the input audio-mix remains clean while the captions specify what to extract, so the model can decompose a recording from a free-text description. We evaluate generation on scenes synthesized from text, and separation on scenes rendered by other generators and on real recordings of speech, music, and sound effects. Given an audio-mix and captions that carry the spoken lines, SepGen outperforms language-conditioned separators, most clearly on speech, and it keeps the lead when the lines are removed from the captions. Code, checkpoints, and datasets are available at https://sepgen.github.io/

한 줄 요약

SepGen은 단일 모델로 영상, 사운드 믹스, 각 소스의 웨이브폼을 생성하거나 분리하는 4D 오디오-비주얼 시스템이다.

핵심 기여도

기존 사전 학습된 오디오-비주얼 생성기를 확장해, 단일 추론 과정에서 비디오, 믹스 사운드, 각 소스의 웨이브폼(스템)을 생성.
두 가지 모드(생성 및 분리)를 지원하며, 분리 모드에서는 텍스트 기반으로 소스를 추출.
생성 모드에서 두 스피커 대화를 각 스피커별 스템으로 생성.
기존 언어 조건 분리기 대비, 특히 음성 분리에서 우수한 성능 (캡션 제거 후에도 성능 유지).

핵심 아이디어

SepGen은 기존 오디오-비주얼 생성기(LTX-2.5 등)를 확장하여, 각 소스의 웨이브폼을 별도로 생성하거나 분리할 수 있도록 설계되었다. 이는 4D 장면 렌더링을 가능하게 하기 위해 필요하다. 기존 생성기는 믹스된 사운드만 출력했지만, SepGen은 각 소스의 위치와 시간 정보를 유지한 채 별도의 스템을 생성한다.

핵심 아이디어는 다음과 같다:

**Protected Audio-Mix Channel**: 믹스 사운드는 어댑터를 우회하며, 기존 생성기의 출력을 유지.
**Block-Diagonal Caption Routing**: 각 스템은 자신의 캡션만 참고하여, 서로 간의 간섭을 방지.
**Cross-Stem Attention Guidance**: 스템 간의 주의를 제어하여, 서로 다른 소스 간 혼합을 방지.
**Aligned Rotary Positions**: 모든 스템과 믹스 사운드가 동일한 시간 축을 공유하여, 타이밍 일관성 유지.

기술적 접근법

**모델 구조**: 기존 오디오-비주얼 생성기(LTX-2.5)를 기반으로, 스템을 추가 채널로 확장.
**Low-Rank Adapter (LoRA)**: 오디오 스트림에만 적용된 가벼운 어댑터로, 기존 모델 파라미터는 동결.
**트레이닝 데이터**: 총 4,843개의 샘플로 구성, CelebV-HQ, URMP, VGGSound, MUSIC-21 등 다양한 출처 사용.
**트레이닝 단계**:
**Stage 1 (분리)**: `σ_m = 0`로 설정하여, 입력 믹스는 항상 깨끗.
**Stage 2 (생성)**: `σ_m > 0`로 설정, 스템과 믹스를 함께 디노이즈.
**추론 모드**:
**생성 모드**: 캡션만 주어졌을 때, 비디오, 믹스, 스템을 생성.
**분리 모드**: 입력 비디오와 믹스를 기반으로, 캡션에 따라 스템을 추출.

주요 결과

**생성 평가**: 텍스트로 생성된 장면에서, 스템이 캡션에 정확히 부합.
**분리 평가**: 기존 언어 조건 분리기 대비, 특히 음성 분리에서 우수한 성능.
**캡션 제거 후 성능 유지**: 캡션 없이도 스템 분리 성능이 유지됨.
**사용자 A/B 테스트**: 생성 및 분리 모드 모두에서 기존 기법 대비 높은 만족도.

의의 및 한계

SepGen은 기존 오디오-비주얼 생성기의 한계를 극복하여, 각 소스의 웨이브폼을 별도로 생성하거나 분리할 수 있는 첫 번째 시스템이다. 이는 4D 장면 렌더링, 공간 오디오 재생 등에 직접적으로 활용 가능하다. 또한, 단일 체크포인트로 생성과 분리를 모두 수행할 수 있어, 모델 활용도를 높인다.

하지만, 현재는 최대 2개의 소스만 지원하며, 각 스템의 위상 재생성 과정에서 SI-SDR 측정 시 오차가 발생할 수 있다. 또한, 장면의 환경 효과(예: 거리, 공명)는 스템에 포함되어 있어, 공간 렌더링 시 별도 처리가 필요하다.

실용적 활용

SepGen은 4D 장면 렌더링, VR/AR 환경의 공간 오디오 생성, 텍스트 기반 음성 분리, 음악 제작 등 다양한 분야에 적용 가능하다. 특히, 기존 생성기와의 호환성을 유지하면서 추가 기능을 제공하므로, 산업 현장에서의 실용성도 높다.