SimFoundry: Modular and Automated Scene Generation for Policy Learning and Evaluation

Training and evaluating robot policies in the real world is costly and difficult to scale. We introduce SimFoundry, a modular and automated system for zero-shot real-to-sim scene construction from a video. SimFoundry generates sim-ready digital twins and supports object, scene, and task editing, enabling the automated generation of diverse digital cousins: affordance-preserving variations of reconstructed real-world scenes. Policies trained on SimFoundry data transfer zero-shot to challenging real tasks involving multi-step manipulation, articulated object interaction, and bimanual interaction, and its digital cousins (variations of the original scene, objects, and tasks) facilitate generalization to new real-world conditions. Across 7 manipulation tasks and 5 policy architectures, SimFoundry simulation evaluations strongly predict real-world performance, with mean Pearson correlation 0.911 and mean maximum ranking violation 0.018. When evaluating sim-trained policies zero-shot in the real world, policies trained with object, scene, and task cousins in simulation show average task success rate improvements of 17%, 21%, and 40%, respectively. Additional details at https://research.nvidia.com/labs/gear/simfoundry/ .

한 줄 요약

SimFoundry는 단일 영상에서 자동화된 시뮬레이션 환경을 생성하여 정책 평가 및 학습을 지원하는 모듈형 시스템이다.

핵심 기여도

SimFoundry는 단일 영상에서 시뮬레이션 준비된 디지털 트윈을 생성하며, 객체, 장면, 작업의 변형(디지털 쌍둥이)을 지원한다.
12개 재구성 장면에서 SimFoundry는 0.81–0.92의 F1 점수를 달성하며, 개체별 3분 튜닝으로 0.93–0.99까지 개선된다.
7개 작업과 5개 정책 아키텍처에서 시뮬레이션 평가가 실제 성능과 0.911의 평균 피어슨 상관 계수와 0.018의 평균 최대 순위 위반(MMRV)을 보인다.
객체, 장면, 작업 쌍둥이를 사용한 정책 학습은 실제 세계에서 각각 17%, 21%, 40%의 작업 성공률 향상을 보인다.

핵심 아이디어

SimFoundry는 단일 영상에서 시뮬레이션 준비된 디지털 트윈을 생성하고, 이를 기반으로 다양한 디지털 쌍둥이를 생성함으로써 정책 평가 및 학습을 자동화하는 시스템이다. 이는 기존 시뮬레이션 작업에서 요구되는 수작업 환경 구축을 대체하며, 객체, 장면, 작업의 변형을 통해 정책의 일반화 능력을 향상시킨다. SimFoundry는 객체 메시(ℳi)와 스케일(si) 및 포즈(pi)를 추출하는 기초 모델(V*)을 활용하며, 이는 정책(πθ)의 관측(ot)에서 행동(at)으로의 매핑에 기반한다. 디지털 쌍둥이는 실제 장면의 기하학적 및 의미적 특성을 유지하면서 객체 인스턴스, 공간 레이아웃, 조작 작업을 다양화한다.

기술적 접근법

SimFoundry는 다음과 같은 모듈로 구성된다:

** восприятие (Perception)**: 입력 영상에서 객체 메시, 스케일, 포즈 추출.
**자산 생성 (Asset Generation)**: 객체의 3D 모델 생성.
**포즈 정렬 (Pose Alignment)**: 객체의 시뮬레이션 내 위치 정렬.
**조립 (Articulation)**: 조인트 객체의 생성 및 동작 정의.
**물리 주석 (Physics Annotation)**: 객체의 물리적 특성 부여.
**데이터 생성 (Data Generation)**: 시뮬레이션 내 정책 학습용 데이터 생성.

SimFoundry는 디지털 쌍둥이를 생성하는 데 **MimicGen** 알고리즘을 활용하며, 이는 다양한 하위 작업 트레이젝토리를 결합하여 대량의 시뮬레이션 데이터를 생성한다. SimFoundry는 DROID 및 YAM 로봇 플랫폼에서 실험되었으며, 7개 작업과 5개 정책 아키텍처에서 평가되었다.

주요 결과

**YAM 및 DROID** 플랫폼에서 SimFoundry는 7개 작업과 5개 정책 아키텍처에서 평균 피어슨 상관 계수 0.911, MMRV 0.018를 달성했다.
객체, 장면, 작업 쌍둥이를 사용한 정책 학습은 실제 세계에서 각각 17%, 21%, 40%의 작업 성공률 향상을 보였다.
SimFoundry 데이터로 학습된 정책은 **YAM**에서 29%의 성공률을 달성했으며, **DROID**에서는 18%의 성공률 향상을 보였다.
다중 작업 SimFoundry 데이터는 시뮬레이션에서 31%, 실제 세계에서 18%의 성능 향상을 보였다.

의의 및 한계

SimFoundry는 시뮬레이션 기반 정책 평가와 학습을 자동화하여 실제 세계 정책 개발을 가속화할 수 있다. 디지털 쌍둥이를 통해 객체, 장면, 작업의 다양성을 생성함으로써 정책의 일반화 능력을 향상시키며, 이는 실제 세계의 다양한 조건에 대응할 수 있는 정책을 개발하는 데 기여한다. 그러나 SimFoundry는 단일 영상에서만 시작점을 생성하며, 복잡한 다중 환경 간의 전이 능력은 추가 연구가 필요하다. 또한, 물리적 상호작용의 정확성과 시뮬레이션-실제 간의 동작 차이도 한계로 작용할 수 있다.

실용적 활용

SimFoundry는 로봇 정책 개발, 특히 다단계 조작, 조인트 객체 상호작용, 이족 조작 등 복잡한 작업에 적용 가능하다. 제조, 물류, 서비스 로봇 분야에서 시뮬레이션 기반 정책 평가와 학습을 통해 실제 세계 정책 개발의 시간과 비용을 줄일 수 있다.