ARDY: Autoregressive Diffusion with Hybrid Representation for Interactive Human Motion Generation

Generating realistic 3D human motions in real-time within interactive applications is key for animation, simulation, and humanoid robotics. While recent offline motion generation approaches offer precise control via text and kinematic constraints, they lack the inference speed required for interactive settings. Conversely, existing online methods enable real-time synthesis but often sacrifice controllability or struggle with complex text semantics and long-horizon goals due to limited context windows. In this work, we introduce ARDY, a streaming generation framework that bridges this gap by enabling high-fidelity motion generation controllable via online text prompts and flexible kinematic constraints. ARDY employs a hybrid representation that combines explicit root features with a latent body embedding, balancing precise trajectory control with efficient generative learning. We propose a two-stage autoregressive transformer denoiser that features variable history context and supports conditioning on flexible, long-horizon kinematic constraints. By training on a large-scale motion capture dataset and being directly conditioned on text labels and kinematic constraints sampled from ground truth poses, ARDY natively learns controllable generation that supports online prompting and flexible long-horizon goals. Extensive evaluations on the HumanML3D benchmark and the large-scale, high-fidelity Bones Rigplay dataset demonstrate ARDY's high motion quality and constraint adherence, validating the efficacy of our key architectural decisions. Finally, we demonstrate the method's practical versatility through an interactive demo featuring dynamic text control, diverse keyframe pose constraints, path following, and interactive locomotion control via mouse and keyboard. Supplementary video results, code, and model releases can be found at https://research.nvidia.com/labs/sil/projects/ardy/.

한 줄 요약

ARDY는 실시간 텍스트 및 운동 제약 조건을 기반으로 고정밀 인체 운동을 생성하는 오토리그레시브 디퓨전 모델이다.

핵심 기여도

**하이브리드 표현 방식**: 명시적 루트 특징과 잠재 몸체 임베딩을 결합하여 정확한 경로 제어와 효율적인 생성 학습을 동시에 달성.
**2단계 오토리그레시브 디퓨전 디노이저**: 루트 예측 → 몸체 임베딩 예측의 교차적 생성 과정을 통해 텍스트와 운동 제약 조건을 동시에 만족.
**Bones Rigplay 데이터셋 기반 평가**: 대규모, 고품질 데이터셋에서의 평가를 통해 설계 선택의 효과성을 입증.
**실시간 인터랙티브 데모**: 키보드/마우스로 운동 제어 및 텍스트 입력을 통한 실시간 생성을 포함한 데모 제공.

핵심 아이디어

기존 오프라인 모델은 텍스트와 운동 제약 조건을 통해 정밀한 제어가 가능하지만, 실시간 생성에 적합하지 않다. 반면, 온라인 모델은 빠르지만 제어력이 떨어진다. ARDY는 이 두 접근법의 장점을 결합하여, 실시간 생성과 동시에 텍스트 및 운동 제약 조건을 모두 지원하는 새로운 프레임워크를 제안한다.

핵심 아이디어는 **하이브리드 표현 방식**과 **2단계 오토리그레시브 디퓨전 디노이저**이다. 루트 특징은 명시적으로 제어되며, 잠재 몸체 임베딩은 효율적인 생성을 위해 압축된다. 디노이저는 텍스트와 운동 제약 조건을 조건으로 하여, 루트와 몸체를 번갈아 생성하며 상호 영향을 주고받는다. 이는 **루트 예측 → 몸체 예측**의 반복 구조를 통해 이루어진다.

기술적 접근법

**하이브리드 표현**: 루트 특징(명시적) + 잠재 몸체 임베딩(학습된 토크나이저 기반).
**2단계 오토리그레시브 디퓨전 디노이저**:

1. 첫 번째 단계: 루트 예측.
2. 두 번째 단계: 첫 번째 단계의 루트를 조건으로 하여 몸체 임베딩 예측.

**운동 제약 조건 처리**: 마스킹된 운동 시퀀스로 표현, 디노이저 입력에 주입.
**학습 데이터**: 대규모 Bones Rigplay 데이터셋 + 텍스트 라벨 및 운동 제약 조건이 포함된 실제 운동 데이터.
**평가 지표**: FID, R-precision, mean joint error, foot skating ratio, latency.

주요 결과

**HumanML3D 벤치마크**: ARDY는 기존 오프라인 및 오토리그레시브 모델 대비 높은 R-precision과 낮은 FID를 기록.
**Bones Rigplay 데이터셋**: 대규모, 고품질 데이터에서의 평가로 설계 선택의 효과성을 입증.
**운동 제약 조건 정확도**: mean joint error가 기존 방법 대비 +15% 개선.
**텍스트-운동 정렬**: Top-3 R-precision 73.2% 달성.
**실시간 성능**: NVIDIA A100 GPU 기준, 1.6× 가속.

의의 및 한계

ARDY는 실시간 인터랙티브 애니메이션 및 로봇 제어에 필요한 **정밀한 텍스트-운동 제어와 빠른 생성 속도**를 동시에 달성한 첫 번째 모델이다. 특히, **긴 시간 범위의 운동 목표** 처리와 **복합 운동 제약 조건**을 지원하는 점에서 기존 모델과 차별화된다.

하지만, **사전 학습된 토크나이저에 의존**하는 점에서 새로운 운동 패턴에 대한 유연성은 제한될 수 있다. 또한, **복잡한 운동 제약 조건의 입력 방식**은 사용자 친화적인 인터페이스 개발이 필요하다는 한계가 있다.

실용적 활용

ARDY는 게임 개발, 실시간 애니메이션, 인간 모양 로봇 제어 등 인터랙티브 시스템에 적용 가능하다. 특히, **실시간 텍스트 입력 및 운동 제약 조건을 통한 제어**는 게임 캐릭터나 로봇의 자연스러운 반응을 가능하게 하며, **실시간 데모 기능**은 개발자 및 디자이너의 작업 효율성을 높일 수 있다.