HairDeck: Animation-Ready Stylized Hair Cards from a Single Image

The hair of stylized characters in games and avatars is built from hair cards: artist-placed ribbons whose geometry is the visible hair, animated by spring bones. Existing image-based methods produce realistic hair or a single fused mesh, while CHARM, the only generator of stylized hair cards, decodes a hairstyle autoregressively as a long sequence of control points. Observing that a card hairstyle is an unordered set of artist-defined primitives, we propose HairDeck, which generates it as one: each card is a single token, and a set diffusion transformer denoises all cards together. From a single image, HairDeck generates the cards and the spring-bone chains that drive them, yielding an animatable asset that exports to ready-to-use downstream formats. On CHARM's own test set, it lowers Chamfer distance by 44% and card-orientation error by more than half while running 33 times faster, and from single images it outperforms CHARM, image-to-3D pipelines and strand-based methods. Project page: https://hyzcluster.github.io/HairDeck

한 줄 요약

HairDeck은 단일 이미지에서 애니메이션 가능한 스타일화 헤어 카드를 생성하는 시스템으로, 기존 CHARM 대비 44%의 Chamfer 거리 감소와 33배 빠른 속도를 달성한다.

핵심 기여도

**카드 토큰 표현**: 각 헤어 카드를 하나의 연속 토큰으로 표현하며, 교차 단면 타입과 루트 노멀을 포함한 정보를 보존.
**세트 확산 트랜스포머 (set DiT)**: 헤어 카드 집합을 순서 없이 생성하여 기존 시퀀스 기반 CHARM 대비 44%의 Chamfer 거리 감소와 50% 이상의 카드 방향 오류 감소를 달성.
**단일 이미지 기반 생성**: 얼굴 기반 헤드 프레임, 합성 스타일 증강, 재스타일링 렌더링을 통해 다양한 스타일의 입력을 처리.
**스프링-본 체인 생성**: 카드 토큰을 조건으로 하여 애니메이션 가능한 스프링-본 체인을 생성.

핵심 아이디어

기존 CHARM은 헤어 카드를 시퀀스로 생성하지만, HairDeck은 카드가 아티스트가 정의한 순서 없는 프리미티브 집합이라는 점을 활용해, 각 카드를 하나의 토큰으로 표현하고, 이를 세트 확산 트랜스포머(set DiT)를 통해 동시에 생성한다. 이는 기존의 순서 기반 생성 방식의 복잡도와 오류를 줄인다.

HairDeck은 카드의 제어점, 루트 위치, 루트 노멀, 교차 단면 타입을 포함한 정보를 하나의 연속 토큰으로 압축하는 **카드 VAE**를 도입한다. 이 토큰은 헤어 스타일의 전체 구조를 표현하며, 평균적으로 약 70개의 토큰이 필요하다.

또한, **스프링-본 체인**은 카드 토큰을 조건으로 하여 별도의 set DiT를 통해 생성되며, 고정된 기하 스킨으로 카드와 연결되어 애니메이션 가능한 자산을 완성한다.

기술적 접근법

**카드 토큰 표현**: 각 카드는 제어점, 루트 위치, 루트 노멀, 교차 단면 타입을 포함한 정보를 하나의 연속 토큰으로 압축.
**카드 VAE**: 제어점을 가변 길이에서 고정 길이의 잠재 공간으로 인코딩 및 디코딩.
**세트 확산 트랜스포머 (set DiT)**: 위치 임베딩 없이 헤어 카드 토큰 집합을 동시에 생성.
**스프링-본 체인 생성**: 카드 토큰을 조건으로 하여 별도의 set DiT로 생성.
**입력 조건**: 단일 이미지 또는 포인트 클라우드 (CHARM 벤치마크 입력).
**스타일 증강**: 합성 스타일 증강과 이미지 편집 모델을 통한 재스타일링 렌더링을 통해 다양한 스타일 처리.

주요 결과

**CHARM 테스트셋**: Chamfer 거리 44% 감소, 카드 방향 오류 50% 이상 감소.
**실행 속도**: CHARM 대비 33배 빠름.
**단일 이미지 성능**: CHARM, 이미지-3D 파이프라인, 스트랜드 기반 방법을 모두 초과.
**카드 수**: 평균 70개의 카드 토큰 생성.

의의 및 한계

HairDeck은 아티스트가 정의한 프리미티브 기반 자산 생성 문제를 해결하며, 기존 시퀀스 기반 접근법의 한계를 극복한다. 특히, 순서 없는 집합 생성을 통해 헤어 카드의 구조적 정확도와 생성 속도를 동시에 향상시킨다.

그러나, 입력 이미지의 품질이나 스타일이 제한적일 경우 생성 결과에 영향을 줄 수 있으며, 아티스트의 세부 조정 없이 완전한 자산을 생성하기에는 한계가 있을 수 있다. 또한, 학습 데이터셋이 명시되지 않아 일반화 성능을 정확히 평가하기 어렵다.

실용적 활용

게임 및 아바타 개발에서 아티스트가 수작업으로 생성하는 헤어 카드를 자동화할 수 있으며, Unity, Unreal Engine 등에서 사용하는 스프링-본 시뮬레이션과 호환된다. 단일 이미지에서 애니메이션 가능한 자산을 생성할 수 있어, 빠른 프로토타이핑 및 대량 생성에 유용하게 활용될 수 있다.