OmniShowcase: Omnidirectional Subject-Consistent Video Generation from Multi-View Images

Generating videos of a specific subject from a few reference images remains challenging when the camera reveals surfaces that are not visible in the input. Early subject-to-video (S2V) methods condition on a single reference image and must therefore infer the subject's unseen appearance and geometry as the viewpoint changes. To address this limitation, recent methods extend S2V to multiple reference views, providing more information about the subject from different viewpoints. However, they do not explicitly specify the 3D structure that connects these observations. In addition, existing training data do not guarantee that viewpoint changes preserve the same underlying 3D subject. We present OmniShowcase, built on two components: (i) a fully automated data synthesis pipeline that produces training videos along diverse camera trajectories, with viewpoint variation driven by underlying subject geometry, even spanning full 360-degree orbits; and (ii) a geometry-conditioning method that provides the video model with a turntable of surface-normal maps reconstructed from the reference views without requiring temporal alignment with the generated frames. We construct Showcase-4K, a corpus of 3D-asset-based videos covering twelve camera motions across 88 trajectory configurations with reconstruction-derived surface-normal conditioning, and ShowcaseBench, a held-out evaluation set with the source meshes and camera parameters used to render each video. Experiments show state-of-the-art subject identity and 3D consistency while maintaining competitive video quality and motion. Project page: justin4ai.github.io/OmniShowcase

한 줄 요약

OmniShowcase는 3D 자산 기반 멀티뷰 영상 생성과 표면법선 지도를 활용한 주체 일관성 유지 기법을 결합한 주체-일관성 비디오 생성 프레임워크이다.

핵심 기여도

자동화된 데이터 생성 파이프라인을 통해 3D 자산 기반 Showcase-4K 데이터셋(4,000개 영상, 88개 카메라 트랙)을 구축.
표면법선 시퀀스(25프레임)를 사용한 기하 조건 부여 방식 제안, 프레임별 정렬 필요 없음.
ShowcaseBench 평가셋을 통해 주체 일관성(GT-CD, RotCoverage)에서 기존 방법 대비 우수한 성능 달성.
표면법선 조건을 사용한 실험에서 텍스처 조건 대비 GT-CD가 낮아 일관성 향상 효과 입증.

핵심 아이디어

기존 S2V 방법은 단일 레퍼런스 이미지에 의존해 카메라 각도가 바뀌면 주체의 미노출 표면을 추론해야 하므로 일관성 문제가 발생한다. OmniShowcase는 이 문제를 해결하기 위해 3D 자산 기반의 멀티뷰 영상 생성 파이프라인과 표면법선 시퀀스를 기반으로 한 기하 조건 부여 방식을 결합한다. 표면법선 시퀀스는 레퍼런스 뷰에서 재구성된 3D 기하 정보를 포함하며, 이는 생성된 영상과의 프레임별 정렬 없이도 주체의 3D 구조를 유지하는 데 기여한다. 이는 기존의 텍스처 기반 조건 방식과 달리, 일관성을 향상시키는 핵심 차별점이다.

기술적 접근법

**자동화된 데이터 생성 파이프라인**: 3D 자산을 사용해 다양한 카메라 트랙(12개 운동, 88개 구성)에 따라 멀티뷰 영상 생성.
**표면법선 조건 부여**: 레퍼런스 뷰에서 3D 재구성 후 표면법선 시퀀스(25프레임) 생성. 이 시퀀스는 생성 모델에 기하 정보를 제공.
**비디오 생성 모델**: 표면법선 시퀀스와 레퍼런스 이미지를 조건으로 사용하는 사전 학습된 비디오 확산 모델.
**하이퍼파라미터**: 표면법선 시퀀스는 25프레임으로 구성되며, 실험에서는 33,000 스텝까지 학습 진행.

주요 결과

ShowcaseBench에서 OmniShowcase는 기존 단일/멀티뷰 S2V 기반 모델 대비 주체 일관성(GT-CD)과 3D 일관성(RotCoverage)에서 최상의 성능을 보임.
표면법선 조건을 사용한 실험에서 텍스처 조건 대비 GT-CD가 낮아 일관성 향상 효과 입증.
표면법선 시퀀스를 9프레임으로 줄인 경우 RotCoverage 점수가 가장 낮아졌으나, GT-CD는 텍스처 조건 대비 여전히 낮음.
표면법선 조건이 없을 경우 주체 일관성(MEt3R, GT-CD)과 회전 커버리지(RotCoverage)가 모두 악화됨.

의의 및 한계

OmniShowcase는 주체 일관성과 3D 구조 일관성을 동시에 달성하는 데 성공하며, 표면법선 기반 조건 방식은 기존 텍스처 조건 방식보다 더 효과적인 것으로 밝혀졌다. Showcase-4K와 ShowcaseBench는 향후 연구에 중요한 데이터셋으로 활용될 수 있다. 그러나 생성된 배경이 인공적인 경우가 있으며, 레퍼런스 간에 빠르게 변화하는 비강체 주체는 처리하지 못하는 한계가 있다. 이는 향후 연구 과제로 남아 있다.

실용적 활용

OmniShowcase는 콘텐츠 제작, 가상 쇼핑, 게임 개발 등에서 주체의 일관된 3D 표현이 필요한 상황에 적용 가능하다. 특히, 3D 자산 기반의 자동화된 데이터 생성 파이프라인은 제작 비용을 줄이고, 표면법선 기반 조건 방식은 생성 영상의 일관성을 향상시켜 실용적 가치가 높다.