UniMate: One Unified Model to Animate Diverse Skeletons

Recent advances in automatic rigging now deliver animation-ready 3D assets at scale, yet generating the motion to drive them remains a bottleneck. Existing learned animators are topology-constrained: they rely on category-specific templates or require per-skeleton fine-tuning and reference motions at inference. We present UniMate, a unified foundation model that synthesizes articulated motion for arbitrary skeletons from a rigged 3D asset and a text prompt, with no test-time optimization or per-skeleton retraining. UniMate introduces a topology-aware diffusion transformer, which integrates skeletal topology into attention via three mechanisms: (1) a graph-aware attention bias from pairwise joint relations and geodesic distances; (2) a spectral rotary position embedding generalizing RoPE to arbitrary kinematic trees via the graph Laplacian; and (3) a global topological conditioner attention-pooled from the rest-pose skeleton. We also curate UniML3D, 13,006 motion sequences spanning bipedal, quadrupedal, avian, marine, insectoid, serpentine, and articulated rigid objects with unified canonicalization and text pairing. Trained on this dataset, UniMate outperforms state-of-the-art baselines in quality, generalization, and efficiency, and supports zero-shot cross-topology transfer, in-betweening, expansion, and text-guided editing. Our project page is available at https://linzhanmou.com/unimate/.

한 줄 요약

UniMate는 다양한 스켈레톤에 텍스트 프롬프트만으로 움직임을 생성하는 통합 기반 모델로, 테스트 시 최적화 없이도 Zero-shot 전이를 지원한다.

핵심 기여도

**TADiT (Topology-Aware Diffusion Transformer)** 도입: 그래프 인식 어텐션 바이어스, Spec-RoPE, 글로벌 토폴로지 컨디셔너를 결합한 모듈.
**UniML3D 데이터셋**: 13,006개의 애니메이션 시퀀스로, 이중 3,584개의 텍스트 프롬프트와 다양한 스켈레톤(이족, 4족, 조류, 해양, 곤충, 뱀, 고정물) 포함.
**Zero-shot 크로스-토폴로지 전이 및 편집 지원**: 테스트 시 최적화 없이 이질적인 스켈레톤 간 애니메이션 전이 가능.
**SOTA 성능**: 기존 방법 대비 품질, 일반화, 효율성에서 우수한 결과.

핵심 아이디어

기존 애니메이션 생성 모델은 특정 스켈레톤 템플릿에 의존하거나, 테스트 시에 스켈레톤별 미세 조정이 필요하다. UniMate는 이와 달리, **스켈레톤의 토폴로지를 입력으로 받아 처리**하는 통합 기반 모델로, 다양한 구조에 일반화할 수 있도록 설계되었다. 핵심 아이디어는 스켈레톤의 **그래프 구조와 움직임을 공유된 어텐션 메커니즘으로 결합**하는 것이다. 이를 위해 TADiT는 세 가지 주요 구성 요소를 도입한다:
1. **Graph-aware attention bias**: 관절 간 관계와 기하 거리에 기반한 어텐션 바이어스를 통해 구조적 가까움을 반영.
2. **Spec-RoPE (Spectral Rotary Position Embedding)**: 그래프 라플라시안 스펙트럼을 기반으로 회전 각도를 도출하여 임의의 킨ematic 트리에 일반화.
3. **Global topological conditioner**: 스켈레톤 토큰으로부터 어텐션 풀링한 글로벌 컨디셔너로, 각 블록의 특성 통계를 스켈레톤에 맞게 조정.

기술적 접근법

**모델 아키텍처**: TADiT는 **Diffusion Transformer 기반**의 흐름 매칭 아키텍처로, 스켈레톤의 정지 자세와 움직임을 공유된 토큰 스트림에서 동시에 처리.
**데이터셋**: UniML3D는 13,006개의 애니메이션 시퀀스로 구성되며, Truebones, Mixamo, Objaverse-XL에서 추출.
**프로세싱**: **통일된 정규화**와 **온라인 스켈레톤 증강**을 통해 이질적인 스켈레톤 간 공통 표현을 구축.
**학습 목표**: 텍스트-모션 쌍을 기반으로 **플로우 매칭 기반의 확률적 생성 학습** 수행.
**추론**: 테스트 시 최적화 없이 단일 패스로 애니메이션 생성.

주요 결과

**UniML3D 데이터셋**: 13,006개의 시퀀스, 3,584개의 텍스트 프롬프트, 20시간 분량.
**성능**: 기존 방법 대비 **품질, 일반화, 효율성**에서 SOTA.
**Zero-shot 전이**: 이질적인 스켈레톤 간 애니메이션 전이, 인터폴레이션, 확장, 텍스트 유도 편집 가능.
**Ablation Study**: Spec-RoPE 제거 시 FID 10% 이상 상승, 글로벌 컨디셔너 제거 시 움직임 불안정 증가.

의의 및 한계

UniMate는 **이질적인 스켈레톤에 대한 통합 애니메이션 생성**을 가능하게 하며, 3D 콘텐츠 자동화 파이프라인의 마지막 병목을 해결한다. TADiT의 **토폴로지 인식 어텐션 메커니즘**은 기존 스켈레톤 중심 모델의 제약을 극복하고, **UniML3D의 대규모 이질 데이터**는 일반화 능력을 높인다. 그러나, UniML3D는 여전히 **인간 중심의 데이터가 다수**이며, **실제 애니메이션 산업에서의 대규모 적용 가능성**은 추가 연구가 필요하다. 또한, **복잡한 다관절 구조에서의 움직임 안정성**은 개선 여지가 있다.

실용적 활용

UniMate는 게임, 영화, VR, 로봇 시뮬레이션 등에서 **다양한 3D 캐릭터의 자동 애니메이션 생성**에 활용 가능하다. 특히, **대규모 자동화된 3D 콘텐츠 제작** 환경에서 테스트 시 최적화 없이 즉시 애니메이션을 생성할 수 있어, **개발자 및 아티스트의 작업 효율성**을 크게 향상시킬 수 있다.