robotic-manipulation large-scale-dataset high-fidelity simulation-ready automated-pipeline real2sim tableverse task-conditioned-trajectory
Abstract
The development of generalizable robotic manipulation policies is inherently bounded by the availability of large-scale, high-fidelity scene data. While recent automated synthesis methods attempt to bridge this gap via text-to-layout hallucination or simplified procedural generation, they frequently suffer from physical implausibility and fail to capture the complex, dense clutter of actual human environments. In this paper, we introduce TableVerse, a fully automated Real2Sim pipeline that shifts the paradigm from imaginative layout generation to deterministic reconstruction from unstructured, in-the-wild image data. Our framework seamlessly processes unscripted internet media into high-fidelity, simulation-ready tabletop environments with accurate metric scales, authentic topologies, and verified mechanical stability. Furthermore, an automated task-conditioned trajectory generation framework is integrated to synthesize high-quality, collision-free pick-and-place demonstrations. Leveraging this complete pipeline, we construct the TableVerse-100K Dataset, a large-scale corpus comprising 100,000 unique, physically consistent environments paired with interactive manipulation trajectories. By capturing diverse asset compositions, realistic spatial distributions, and high-quality demonstrations, TableVerse-100K establishes a highly scalable and high-fidelity data foundation, providing significant value to facilitate future research in generalizable robotic manipulation tasks.
한국어 요약
한 줄 요약
TableVerse는 10만 개의 실제 기반 테이블탑 환경과 조작 트레젝토리를 포함한 대규모 데이터셋을 생성하는 자동화된 Real2Sim 파이프라인을 제시한다.
핵심 기여도
- TableVerse 파이프라인: 인터넷 미디어에서 고정밀 시뮬레이션 환경을 자동 생성.
- LCCR 모듈: 겹친 메시를 해소하고 물리적 안정성을 확보.
- TableVerse-100K 데이터셋: 10만 개의 고유한 테이블탑 환경과 조작 트레젝토리 포함.
- MuJoCo 기반 물리 시뮬레이션 통합으로 실제 접촉 역학 반영.
핵심 아이디어
기존 테이블탑 환경 생성 방법은 텍스트 기반 환상 생성이나 단순 프로시저적 생성을 사용해 실제 물리적 복잡성을 반영하지 못했다. TableVerse는 이에 반해, 단일 이미지에서 직접적인 3D 재구성을 수행하는 Real2Sim 파이프라인을 제시한다. 핵심 아이디어는 "확률적 공간 환상 대신 결정론적 인식-물리 흐름"을 도입하는 것이다. 이는 정확한 거리 척도, 객체 토폴로지, 접촉 역학을 보존할 수 있게 한다. 특히, LCCR 모듈은 겹친 메시를 계층적 시나리오 그래프를 통해 해소하고, MuJoCo를 활용한 물리 기반 안정화 단계를 통해 현실적인 정지 상태를 구현한다.
기술적 접근법
- **TableVerse 파이프라인**: 인터넷 미디어에서 3D 객체 추출, 테이블탑 자산 분해, 6-DoF 포즈 등록.
- **LCCR 모듈**: 겹친 메시 해소를 위한 계층적 시나리오 그래프 기반 기하학적 최적화.
- **MuJoCo 시뮬레이션**: 객체의 물리적 안정 상태를 구현.
- **Trajectory Generation**: 고급 조작 명령을 기반으로 충돌 없는 조인트 경로 생성.
- **TableVerse-100K**: 100,000개의 고유 환경과 조작 트레젝토리로 구성된 데이터셋.
주요 결과
- **Scene Collision Rate (%)**: LCCR 적용 후 0.1% 이하로 감소 (기존 10% 이상).
- **GPT-Score**: LF 8.9, VQ 9.1, GQ 9.0 (기존 방법 대비 +1.5~2.0).
- **TableVerse-100K**: 10만 개의 고유 환경, 각각에 연속 조작 트레젝토리 포함.
- **GPT-Score 평균 순위**: 1.2 (기존 방법 대비 0.8 개선).
의의 및 한계
TableVerse-100K는 실제 환경의 밀도 높은 잡동사니와 이질적인 물리학을 포착한 최대 규모의 테이블탑 조작 데이터셋으로, 일반화 로봇 조작 연구에 중요한 기초를 제공한다. LCCR 모듈은 겹친 메시를 해소하고 물리적 안정성을 확보함으로써 기존 시뮬레이션 데이터 생성 방식의 한계를 극복한다. 그러나 현재는 테이블탑 환경에만 제한되며, 더 넓은 실내 환경으로 확장하는 데 추가 연구가 필요하다. 또한, 모든 인터넷 이미지가 처리 가능한 것은 아니며, 일부 노이즈나 불완전한 입력에 대한 내성 향상이 요구된다.
실용적 활용
TableVerse는 로봇 조작 정책 학습, 시뮬레이션 기반 학습, 물리 기반 환경 생성 등에 활용 가능하다. 특히, 실제 기반 데이터가 필요한 산업 자동화, 물류, 서비스 로봇 분야에서 유용하게 사용될 수 있다.