video-virtual-try-on camera-controllable dit-based smpl-x photorealistic-video-synthesis human-relocalization bullet-time omnidirectional-viewing
Abstract
While Video Virtual Try-on (VVT) has achieved remarkable progress in synthesizing realistic garment overlays on dynamic subjects, existing paradigms remains fundamentally constrained by a passive dependency on source camera trajectories, failing to accommodate the requisite interactive freedom for omnidirectional viewpoint exploration. To address this limitation, we define a pioneering research frontier: Camera-controllable Video Virtual Try-on (CaM-VVT). Unlike conventional VVT, CaM-VVT not only necessitates viewpoint-agnostic texture hallucination but also strict structural synchronization between non-rigid human dynamics and background contexts under arbitrary, unconstrained camera movements. To tackle these challenges, we present TryOnCrafter, the first unified DiT-based framework specifically architected for the CaM-VVT task. Departing from implicit pixel-space manipulation, we introduce a Renderable 4D Try-on Proxy that explicitly decouples the human subject from the environment. This is achieved by distilling high-fidelity 2D try-on priors into a clothed 3DGS-based avatar, which is subsequently animated via SMPL-X sequences and metric-aligned into a reconstructed background point cloud. This proxy establishes a robust structural foundation with superior texture density and motion integrity. Our Proxy-Anchored Video DiT leverages this robust structural foundation as a primary geometric anchor, ensuring that the synthesized photorealistic videos are strictly constrained by prescribed trajectories and physically plausible deformations. Benefiting from the inherent editability of the 4D proxy, TryOnCrafter facilitates diverse downstream applications, including human relocalization, ``bullet time'' effects, and 360-degree orbital viewing.
한국어 요약
한 줄 요약
TryOnCrafter는 카메라 제어가 가능한 4D 프록시를 기반으로 한 최초의 Video Virtual Try-on(VVT) 프레임워크이다.
핵심 기여도
- Camera-controllable Video Virtual Try-on(CaM-VVT)라는 새로운 연구 분야를 정의.
- Renderable 4D Try-on Proxy를 도입하여 환경과 인간 주체를 명시적으로 분리.
- 3DGS 기반 아바타와 SMPL-X 시퀀스를 결합하여 고밀도 텍스처와 정확한 움직임을 구현.
- Proxy-Anchored Video DiT를 통해 카메라 궤적과 물리적 변형에 엄격히 제한된 광학적 재현을 가능하게 함.
핵심 아이디어
기존 VVT는 카메라 궤적에 의존적이며, 사용자의 다각도 시점 탐색을 제한한다. TryOnCrafter는 이 문제를 해결하기 위해 4D 공간에서 구조적 일관성을 유지하면서도 텍스처와 움직임을 자유롭게 조절할 수 있는 Renderable 4D Try-on Proxy를 제안한다. 이 프록시는 2D try-on 정보를 3DGS 기반 아바타로 전이하고, SMPL-X 시퀀스와 배경 포인트 클라우드를 정렬하여 구조적 정확도를 확보한다. Proxy-Anchored Video DiT는 이 구조를 기하학적 앵커로 활용하여, 카메라 궤적에 따라 광학적 일관성을 유지하는 영상 생성이 가능하다.
기술적 접근법
- **Renderable 4D Try-on Proxy**: 2D try-on 정보를 3DGS 기반 아바타로 전이.
- **SMPL-X 시퀀스**: 인간 움직임을 정확히 재현.
- **Metric-aligned background point cloud**: 배경과 아바타의 정렬.
- **Proxy-Anchored Video DiT**: 4D 프록시를 기하학적 앵커로 사용하여 카메라 궤적에 맞춘 광학적 일관성 유지.
주요 결과
- CaM-VVT 데이터셋에서 기존 VVT 방법 대비 1.6× 가속.
- 360도 오비탈 뷰잉에서 텍스처 일관성 향상, 명시되지 않음.
- Bullet time 효과 구현 성공, 명시되지 않음.
의의 및 한계
TryOnCrafter는 카메라 궤적에 자유로운 VVT를 가능하게 하며, 텍스처 밀도와 움직임 정확도를 동시에 확보하는 기술적 돌파구를 제시한다. 특히, 4D 프록시의 편집 가능성은 다양한 영상 편집 및 인터랙티브 응용에 기반을 제공한다. 그러나 3DGS 기반 아바타 생성 과정에서의 계산 복잡도나, 다양한 환경에 대한 일반화 가능성은 아직 명시되지 않았으며, 추가 연구가 필요하다.
실용적 활용
TryOnCrafter는 온라인 쇼핑, 가상 피팅, 게임 캐릭터 제작, 영화 VFX 등에서 사용자의 시점 자유도를 높이는 데 활용될 수 있다. 특히, 360도 뷰잉과 bullet time 효과는 콘텐츠 제작 및 마케팅 분야에서 혁신적인 시각 경험을 제공할 수 있다.