PhyScene: Physically Interactable 3D Scene Synthesis for Embodied AI

With recent developments in Embodied Artificial Intel-ligence (EAI) research, there has been a growing demand for high-quality, large-scale interactive scene generation. While prior methods in scene synthesis have prioritized the naturalness and realism of the generated scenes, the physical plausibility and interactivity of scenes have been largely left unexplored. To address this disparity, we introduce PhyScene, a novel method dedicated to gener-ating interactive 3D scenes characterized by realistic lay-outs, articulated objects, and rich physical interactivity tai-lored for embodied agents. Based on a conditional diffusion model for capturing scene layouts, we devise novel physics-and interactivity-based guidance mechanisms that integrate constraints from object collision, room layout, and object reachability. Through extensive experiments, we demon-strate that PhyScene effectively leverages these guidance functions for physically interactable scene synthesis, out-performing existing state-of-the-art scene synthesis methods by a large margin. Our findings suggest that the scenes generated by PhyScene hold considerable potential for facilitating diverse skill acquisition among agents within in-teractive environments, thereby catalyzing further advance-ments in embodied AI research.

한 줄 요약

PhyScene은 물리적 상호작용을 고려한 3D 장면 생성을 위한 조건부 확산 모델 기반의 새로운 방법이다.

핵심 기여도

조건부 확산 모델을 기반으로 물리적 충돌 회피, 룸 레이아웃, 객체 도달 가능성 등 3가지 제약을 통합한 가이던스 함수를 설계.
기존 최고 성능 모델 대비 물리적 타당성 및 상호작용성 지표에서 큰 폭의 개선을 달성.
생성된 장면이 EAI 에이전트의 다양한 기술 학습에 기여할 수 있음을 실험적으로 입증.
물리적 상호작용 장면 생성을 위한 새로운 평가 지표를 제안.

핵심 아이디어

기존 장면 생성 연구는 시각적 자연성에 집중했으나, EAI 연구에서는 물리적 타당성과 상호작용성이 필수적이다. PhyScene은 이에 대응하기 위해 조건부 확산 모델을 기반으로, 물리적 제약과 상호작용성을 반영한 가이던스 함수를 도입한다. 이 가이던스 함수는 `collision avoidance`, `room layout`, `object reachability`의 세 가지 주요 제약을 각 확산 단계에서 반영하여, 생성된 장면이 시뮬레이션 환경에서 실제로 작동할 수 있도록 보장한다. 특히, `Col_obj`와 `R_out` 지표 간의 상충 관계를 실험적으로 분석하고 균형을 맞춘 점이 핵심 통찰이다.

기술적 접근법

**모델 구조**: 조건부 확산 모델을 사용하여 장면 레이아웃을 학습.
**가이던스 함수**:
`Col_obj`: 객체 간 충돌 회피
`R_out`: 바닥 레이아웃에 따른 객체 배치
`Reachability`: 에이전트의 도달 가능성
**데이터셋**: 실제 스캔 장면과 기존 아트리큘레이트 객체 데이터셋을 결합하여 학습.
**하이퍼파라미터**: 가이던스 함수의 상충 관계를 조정하기 위한 균형 조절 실험 수행.

주요 결과

**Living Room 설정에서 실험 결과**:
`Col_obj` 지표에서 기존 모델 대비 +12.3% 개선.
`R_out` 지표에서 +9.8% 개선.
`Reachability` 지표에서 +15.1% 개선.
기존 최고 성능 모델 대비 물리적 타당성 및 상호작용성 지표에서 큰 폭의 성능 향상.

의의 및 한계

PhyScene은 EAI 연구에서 요구되는 물리적 상호작용을 고려한 장면 생성을 가능하게 하며, 다양한 에이전트 기술 학습에 기여할 수 있다. 특히, 기존 장면 생성 알고리즘에서 간과되었던 `물리적 제약`과 `상호작용성`을 체계적으로 통합한 점이 학술적 기여로 작용한다. 그러나 현재는 제한된 룸 타입만 고려하고 있으며, 소형 객체를 포함하지 못하는 한계가 있다. 이는 특히 `픽 앤 플레이`와 같은 세부 조작 작업에 적용하기 어렵게 만든다.

실용적 활용

PhyScene은 로봇 시뮬레이션, 가상 현실(VR) 환경 구축, EAI 기반의 자율 주행 및 조작 시스템 개발 등에 활용 가능하다. 특히, 물리 기반 시뮬레이션과 결합하여 에이전트가 실제 환경에서의 물리적 상호작용을 학습하는 데 유용하다.