CtrlVTON: Controllable Virtual Try-On via Visual-Instance-Prompt Segmentation

Virtual try-on (VTO) has made significant progress in realistically transferring garments onto a target person. Yet most systems give the user little control over how a garment should be worn -- its size (loose or fitted), style (e.g., tucked in or untucked, open or closed), and spatial placement on the body. We address this gap with two complementary contributions. First, we define and solve Visual-Instance-Prompt Segmentation via VIP-SAM: given a flatlay image of a garment, segment that specific instance in a photograph of a person wearing it. This is an instance-level task, distinct from the typically studied category-level segmentation. Second, we introduce CtrlVTON, a controllable VTO framework that recasts try-on as an image editing problem and adds segmentation masks as pixel-level control over garment layout, including style, size, and spatial placement on the body. VIP-SAM and CtrlVTON each achieve state-of-the-art results on their respective tasks. In particular, CtrlVTON generates images that follow user-provided layouts far more faithfully than the strongest proprietary editing systems while matching them on garment fidelity.

한 줄 요약

CtrlVTON은 사용자 정의 레이아웃을 기반으로 의류의 스타일, 크기, 위치를 제어하는 VTO 프레임워크로, VIP-SAM을 통해 인스턴스 레벨 세그멘테이션을 실현한다.

핵심 기여도

**VIP-SAM**을 제안하여 flatlay 이미지에서 사람 이미지 내 특정 의류 인스턴스를 세그멘테이션함.
**CtrlVTON** 프레임워크를 통해 VTO를 이미지 편집 문제로 재정의하고, 세그멘테이션 마스크를 통해 픽셀 수준 제어를 가능하게 함.
**VITON-HD-edit**이라는 새로운 벤치마크를 공개하여 이미지 편집 기반 VTO와 인스턴스 레벨 세그멘테이션 연구를 지원함.
**CtrlVTON**은 기존 편집 시스템 대비 사용자 레이아웃을 더 정확히 반영하면서 의류 품질을 동일 수준 유지함.

핵심 아이디어

기존 VTO 시스템은 사용자가 의류의 착용 방식(예: 풀업/반입, 여는/닫는)이나 위치를 제어하는 데 한계가 있었다. 이를 해결하기 위해, CtrlVTON은 VTO를 **이미지 편집 문제**로 재정의하고, **세그멘테이션 마스크**를 입력으로 받아 의류의 스타일, 크기, 위치를 픽셀 수준에서 제어할 수 있도록 설계되었다. 이는 기존의 인페인팅 기반 접근과 구별된다.

VIP-SAM은 flatlay 이미지에서 사람 이미지 내 동일한 의류 인스턴스를 정확히 식별하는 **인스턴스 레벨 세그멘테이션** 문제(VIP-Seg)를 정의하고, 이를 해결하여 CtrlVTON의 마스크 입력을 생성한다. 이는 기존의 범주 레벨 세그멘테이션(VRP-Seg)과 구분되며, 동일 범주 내 다른 인스턴스와 혼동을 방지하는 것이 핵심이다.

기술적 접근법

**CtrlVTON-base**: (p_ref, g_ref, p) 트리플렛을 기반으로 훈련된 이미지 편집 디퓨전 트랜스포머.
**의류 클래스 토큰**(τ_cls): upper, lower, full, shoes, bag 중 하나.
**작업 토큰**(τ_task): full_swap, partial_swap, add 중 하나.
**CtrlVTON**: CtrlVTON-base에 **LoRA 어댑터**를 추가하여 픽셀 수준 제어를 구현.
입력 마스크: M_p, M_p_ref, M_g_ref.
마스크는 **채널 방향 연결**(channel-wise concatenation)을 통해 DiT의 레이턴트 공간에 주입됨.
**VIP-SAM**: flatlay 이미지에서 사람 이미지 내 특정 의류 인스턴스를 식별하는 인스턴스 레벨 세그멘테이션 모델.
**VITON-HD-edit**: (사람, 의류, 의류 변경된 사람) 트리플렛과 마스크를 포함한 훈련 데이터셋.

주요 결과

**CtrlVTON**은 사용자 제공 레이아웃을 기반으로 의류의 스타일, 크기, 위치를 정확히 반영하는 이미지를 생성함.
**VIP-SAM**은 기존 인스턴스 레벨 세그멘테이션 벤치마크에서 **최고 성능**을 달성함.
**CtrlVTON**은 기존 편집 시스템 대비 사용자 레이아웃을 **더 정확히 반영**(명시되지 않음)하면서 **의류 품질**(garment fidelity)을 동일 수준 유지함.
**VITON-HD-edit**은 이미지 편집 기반 VTO와 인스턴스 레벨 세그멘테이션 연구를 위한 **공개 벤치마크**로 제공됨.

의의 및 한계

CtrlVTON은 VTO 분야에서 **제어 가능성**(controllability)을 첫 번째 목표로 설정한 첫 번째 프레임워크로, 의류의 착용 방식을 픽셀 수준에서 정밀하게 제어할 수 있다. 이는 의류 쇼핑, 가상 피팅, 패션 디자인 등에서 실용적 활용이 기대된다. 또한, VIP-SAM은 flatlay-사람 이미지 간의 인스턴스 식별 문제를 정의하고 해결함으로써, 기존의 범주 레벨 접근과 구분되는 새로운 연구 방향을 제시한다.

그러나, VIP-SAM은 **동일 범주 내 다른 인스턴스와 혼동**될 수 있는 상황에서의 성능이 명시되지 않았으며, CtrlVTON은 **복잡한 레이아웃 조정** 시의 제한성도 명시되지 않았다. 또한, 공개된 데이터셋(VITON-HD-edit)의 **다양성**(예: 다양한 의류, 사람, 배경)에 대한 구체적 수치는 제공되지 않았다.

실용적 활용

CtrlVTON은 온라인 쇼핑 플랫폼에서 사용자 정의 피팅 시뮬레이션을 제공하거나, 패션 디자인 과정에서 의류 착용 방식을 시각화하는 데 활용될 수 있다. VIP-SAM은 의류 브랜드의 이미지 데이터셋에서 특정 제품 식별 및 분석에 사용될 수 있으며, 의류 관련 AI 모델 개발에 중요한 데이터 전처리 도구로 활용될 수 있다.