DomainShuttle: Freeform Open Domain Subject-driven Text-to-video Generation

Open domain subject-driven text-to-video (S2V) generation has drawn significant interest in academia and industry. Open domain S2V mainly involves two scenarios: in-domain, which requires retaining the reference subject features as much as possible, and cross-domain, which preserves the intrinsic features of the subject while allowing subject-irrelevant properties to vary flexibly according to the text prompt. Existing methods primarily focus on maximizing subject fidelity in in-domain scenarios, which limits their editability and adaptability in cross-domain scenarios, such as novel styles, semantic combinations, or domain attributes. In this study, we propose that an ideal S2V method should flexibly shuttle between different domains, achieving strong performance in both in-domain and cross-domain scenarios. To this end, we propose DomainShuttle, which could achieve high fidelity and generative flexibility for open domain video personalization. Specifically, we introduce Domain-MoT, which decouples videos and reference features and introduces the domain-aware AdaLN for domain-specific modeling of reference images. We then introduce the Video-Reference DualRoPE scheme, which places reference image tokens and video tokens in separate RoPE spaces to enable precise subject-level spatial modeling, and Cross-Pair Consistent Loss, which aims to extract intrinsic subject features unaffected by irrelevant features. Extensive experiments demonstrate that DomainShuttle achieves significant performance improvements over existing methods, exhibiting high subject fidelity and generative flexibility across diverse open domain application scenarios.

한 줄 요약

DomainShuttle은 개방 영역 주제 기반 텍스트-비디오 생성에서 고정밀도와 유연성을 동시에 달성하는 새로운 방법이다.

핵심 기여도

Domain-MoT 모듈을 도입하여 영상과 참조 특성을 분리하고 도메인별 AdaLN을 적용.
Video-Reference DualRoPE를 통해 참조 이미지 토큰과 비디오 토큰을 별도의 RoPE 공간에 배치.
Cross-Pair Consistent Loss를 제안하여 주제의 본질적 특성을 추출.
기존 방법 대비 편집 가능성과 적응성을 향상시킴.

핵심 아이디어

기존의 주제 기반 텍스트-비디오 생성 방법은 주로 동일 도메인에서의 고정밀도를 강조했으나, 이는 다른 도메인으로 확장 시 유연성이 떨어지는 문제를 초래했다. DomainShuttle은 이 문제를 해결하기 위해 도메인 간 유연한 전환을 가능하게 하는 새로운 접근법을 제안한다. 핵심 아이디어는 참조 이미지와 생성 비디오의 도메인별 특성을 분리하고, 이를 통해 본질적인 주제 특성을 유지하면서 텍스트 프롬프트에 따라 다양한 스타일과 의미 조합을 자유롭게 생성할 수 있도록 하는 것이다. 이는 Domain-MoT와 Video-Reference DualRoPE, Cross-Pair Consistent Loss를 통해 구현된다.

기술적 접근법

**Domain-MoT**: 영상과 참조 특성을 분리하고 도메인별 AdaLN을 도입하여 참조 이미지의 도메인 특성을 모델링.
**Video-Reference DualRoPE**: 참조 이미지 토큰과 비디오 토큰을 서로 다른 RoPE 공간에 배치하여 정밀한 주제 수준의 공간 모델링 가능.
**Cross-Pair Consistent Loss**: 주제의 본질적 특성을 도출하기 위해 불필요한 특성에 영향을 받지 않는 손실 함수를 도입.
하이퍼파라미터나 데이터셋 세부 사항은 명시되지 않음.

주요 결과

다양한 개방 도메인 응용 시나리오에서 고정밀도와 생성 유연성을 동시에 달성.
기존 방법 대비 주제 보존성과 편집 가능성에서 유의미한 성능 향상.
구체적인 수치는 명시되지 않음.

의의 및 한계

DomainShuttle은 기존 주제 기반 텍스트-비디오 생성의 한계를 극복하고, 도메인 간 유연한 생성을 가능하게 하여 텍스트-비디오 생성 분야의 중요한 발전을 이끌 것으로 기대된다. 특히, 주제의 본질적 특성을 유지하면서도 다양한 도메인 속성에 따라 자유롭게 생성할 수 있는 점에서 실용적 가치가 높다. 그러나 초록에서는 성능 개선 폭이나 특정 데이터셋에서의 정량적 비교가 명시되지 않아, 정확한 성능 평가에는 한계가 있다.

실용적 활용

DomainShuttle은 콘텐츠 제작, 광고, 게임 개발 등 다양한 산업 분야에서 주제 기반 비디오 생성을 필요로 하는 상황에 적용 가능하다. 또한, 연구적으로는 텍스트-비디오 생성 모델의 도메인 간 적응성 향상에 기여할 수 있다.