Deform360: A Massive Multi-view Visuotactile Dataset for Deformable World Models

Predicting object dynamics (i.e., world modeling) is a fundamental challenge for robotic manipulation, and modeling deformable objects presents a particularly difficult case due to their high-dimensional state spaces and complex material properties. While current world models approach this through two distinct paradigms: learning the dynamics over the 2D pixel space or more explicit 3D geometric space. A systematic understanding of their relative strengths and limitations remains elusive due to the lack of diverse, large-scale real-world data. To address this, we present Deform360, a large-scale visuotactile dataset featuring 198 daily-life objects, 1,980 interaction sequences, and over 215 hours of observations from 41 surround-view cameras and bimanual tactile grippers to capture both global motion and contact-induced local deformations. Leveraging a novel markerless visuotactile 3D tracking pipeline to extract dense geometry and motion, we systematically evaluate current state-of-the-art world models, comparing 2D video models against 3D particle models. Finally, we provide a preliminary demonstration indicating the real-world applicability of our dataset by performing robot planning tasks on deformable objects. Our analysis reveals key insights into the trade-offs between structural priors and scalability, providing a solid benchmark for future research in generalizable deformable object-centric world modeling. Project website: https://deform360.lhy.xyz

한 줄 요약

Deform360은 198개 일상 물체의 215.7시간 분량의 시각-촉각 데이터를 활용해 변형 가능한 물체의 세계 모델 성능을 비교 평가한 대규모 데이터셋이다.

핵심 기여도

198개 일상 물체, 1,980개 상호작용 시퀀스, 215.7시간 분량의 41개 카메라와 이족형 촉각 그립터로 수집한 Deform360 데이터셋 제시
마커 없는 3D 추적 파이프라인으로 고정밀 입자 경로 추출 (Chamfer distance: 2.71×10⁻⁵ m²)
2D 비디오 모델 (Cosmos)과 3D 입자 모델 (ParticleFormer, PhysTwin)을 다양한 범용성 설정에서 비교 평가
MPC 기반 로봇 제어를 통해 데이터셋의 실용성을 실증

핵심 아이디어

기존의 변형 물체 세계 모델은 2D 픽셀 공간 또는 3D 기하 공간에서 동작을 예측하는 두 가지 패러다임으로 나뉜다. 그러나 이들의 장단점을 체계적으로 평가하기 위한 대규모 현실 데이터가 부족했다. 본 연구는 이 문제를 해결하기 위해 Deform360이라는 대규모 시각-촉각 데이터셋을 제시한다. 이 데이터셋은 41개 주변 카메라와 이족형 촉각 그립터를 활용해 전방위 시야와 접촉 유발 변형을 포착하며, 마커 없는 3D 추적 파이프라인을 통해 고정밀 입자 경로를 추출한다. 이를 통해 2D 비디오 모델과 3D 입자 모델의 성능을 비교하고, 구조적 사전지식과 확장성 간의 트레이드오프를 분석한다.

기술적 접근법

**데이터 수집**: 198개 일상 물체, 1,980개 상호작용 시퀀스, 215.7시간 분량의 41개 카메라와 이족형 촉각 그립터 데이터
**추적 파이프라인**: 마커 없는 3D 추적을 통해 고정밀 입자 경로 추출 (Chamfer distance: 2.71×10⁻⁵ m²)
**모델 비교**: 2D 비디오 모델 (Cosmos) vs. 3D 입자 모델 (ParticleFormer, PhysTwin)
**평가 설정**: 프레임, 에피소드, 객체 수준의 범용성 평가 (Per-episode, Multi-episode, Multi-object)
**로봇 제어**: MPC 기반의 변형 물체 조작 실험

주요 결과

**추적 정확도**: 시각-촉각 추적으로 Chamfer distance 2.71×10⁻⁵ m² 달성 (시각만 추적 대비 5배 개선)
**프레임 범용성**: PhysTwin이 PGND, ParticleFormer보다 재구성 및 예측 성능에서 우수
**에피소드 범용성**: Cosmos는 재구성에서 우수 (PSNR, SSIM 등), ParticleFormer는 예측에서 우수
**객체 범용성**: Cosmos가 3D 모델 대비 더 높은 시각 품질 (LPIPS, PSNR 등)을 보여줌
**로봇 제어**: 3D 입자 모델을 MPC에 적용해 변형 물체 조작 성공

의의 및 한계

Deform360은 변형 가능한 물체의 세계 모델을 평가하는 데 필요한 대규모 현실 데이터를 제공하며, 2D와 3D 모델 간의 장단점을 체계적으로 비교할 수 있는 기반을 마련한다. 특히, 3D 입자 모델은 구조적 사전지식을 활용해 소량 데이터에서도 우수한 성능을 보이지만, 2D 모델은 대량 학습을 통해 더 높은 범용성을 달성한다. 그러나 3D 모델은 대규모 사전 학습이 부족해 제로샷 범용성에서 한계가 있으며, 2D 모델은 3D 기하 정보 부재로 인해 보상 함수 설계가 복잡하다는 문제가 있다.

실용적 활용

Deform360은 로봇이 변형 물체를 조작하는 상황에서 세계 모델을 학습하고 평가하는 데 활용될 수 있다. 특히, MPC 기반의 제어 시스템에서 입자 모델을 사용해 실제 물체 조작을 수행한 사례는 데이터셋의 실용성을 입증한다. 이는 물류, 의료, 서비스 로봇 분야에서 유연한 물체 조작 기술 개발에 기여할 수 있다.