Scaling Up Dynamic Human-Scene Interaction Modeling

Confronting the challenges of data scarcity and advanced motion synthesis in HSI modeling, we introduce the TRUMANS (Tracking Human Actions in Scenes) dataset alongside a novel HSI motion synthesis method. TRUMANS stands as the most comprehensive motion-captured HSI dataset currently available, encompassing over 15 hours of human interactions across 100 indoor scenes. It intricately captures whole-body human motions and part-level object dynamics, focusing on the realism of contact. This dataset is further scaled up by transforming physical environments into exact virtual models and applying extensive augmentations to appearance and motion for both humans and objects while maintaining interaction fidelity. Utilizing TRUMANS, we devise a diffusion-based autoregressive model that efficiently generates Human-Scene Interaction (HSI) sequences of any length, taking into account both scene context and intended actions. In experiments, our approach shows remarkable zero-shot generalizability on a range of 3D scene datasets (e.g., PROX, Replica, ScanNet, ScanNet++), producing motions that closely mimic original motion-captured sequences, as confirmed by quantitative experiments and human studies.

한 줄 요약

TRUMANS 데이터셋과 확장 가능한 HSI 모션 생성 모델을 제시하여 3D 환경에서의 인간-장면 상호작용을 실시간으로 생성한다.

핵심 기여도

TRUMANS: 100개 실내 장면에서 15시간 이상의 고품질 HSI를 포착한 최대 규모의 MoCap 데이터셋.
확장 기법: 물리적 환경을 정확한 가상 모델로 변환하고, 외형 및 모션에 대한 대규모 증강 적용.
조건부 확산 기반 자동 회귀 모델: 3D 장면과 행동 라벨을 조건으로 사용하여 임의 길이의 HSI 시퀀스 생성.
제로샷 일반화: PROX, Replica, ScanNet, ScanNet++ 등 다양한 3D 장면 데이터셋에서 뛰어난 성능.

핵심 아이디어

HSI 모델링의 주요 과제인 데이터 부족과 고급 모션 생성 문제를 해결하기 위해 TRUMANS 데이터셋과 확장 기법을 제시했다. TRUMANS는 100개 실내 장면에서 15시간 이상의 인간-물체 상호작용을 포착하며, 정확한 접촉 현실감을 강조한다. 이 데이터셋은 물리적 환경을 정밀한 가상 모델로 변환하고, 외형과 모션에 대한 대규모 증강을 적용하여 스케일링한다. 이를 기반으로, 3D 장면과 행동 라벨을 조건으로 사용하는 확산 기반 자동 회귀 모델을 개발하여, 임의 길이의 HSI 시퀀스를 실시간으로 생성한다. 특히, 장면 맥락을 통합하기 위해 지역적 장면 퍼셉티브를 개발하여 복잡한 장면 내 충돌 회피를 가능하게 하였다.

기술적 접근법

**TRUMANS 데이터셋**: 100개 실내 장면, 15시간 이상의 인간-물체 상호작용, 정밀한 접촉 포착.
**데이터셋 확장 기법**: 물리적 환경을 정확한 가상 모델로 변환, 외형 및 모션 증강 적용.
**모델 구조**: 조건부 확산 기반 자동 회귀 모델.
**장면 조건 통합**: 지역적 장면 퍼셉티브를 통해 전역 장면 점유도를 지역적으로 쿼리.
**행동 라벨 조건 통합**: 시간별 행동 라벨을 조건으로 통합, 지정된 행동 라벨을 따르며 실시간 지시 가능.
**하이퍼파라미터**: 실시간 생성, 임의 길이 시퀀스 생성.

주요 결과

**정적 설정 (Table 2)**: TRUMANS 기반 모델이 기존 기법 대비 투과율 감소, 접촉 정확도 향상.
**동적 설정 (Table 3)**: FID 0.67, 다양성 0.89 기록. GRAB 기반 모델 대비 30% 이상 성능 향상.
**인간 실험 (SucRateDis)**: 약 25%의 참가자만 MoCap 시퀀스를 구별, 1/5 수준의 무작위 추측과 유사.
**제로샷 일반화**: PROX, Replica, ScanNet, ScanNet++ 등 다양한 3D 장면에서 뛰어난 성능.

의의 및 한계

TRUMANS는 HSI 연구에서 데이터 품질과 스케일링 문제를 해결하는 기초 자료로 기여하며, 다양한 3D 장면에서의 모션 생성을 가능하게 한다. 특히, 인간-물체 상호작용의 정밀도와 장면 맥락 통합 능력이 뛰어나다. 그러나, 현재 모델은 특정 장면 유형에서의 일반화 능력이 제한될 수 있으며, 더 복잡한 다인 상호작용 시나리오에 대한 확장이 필요하다. 또한, 데이터셋의 물리적 환경 변환 과정에서 일부 세부 정보가 손실될 수 있다.

실용적 활용

TRUMANS 데이터셋과 모델은 VR/AR, 게임 개발, 로봇 행동 학습 등 3D 환경 내 인간-장면 상호작용이 필요한 산업에 활용 가능하다. 특히, 실시간 모션 생성과 정밀한 물체-인간 상호작용 시뮬레이션이 요구되는 분야에서 유용하다.