Lucida: Parse, Generate, and Place for Composable Real-to-Sim Scene Modeling

Composable scene modeling aims to recover a real indoor scene as complete, editable object assets arranged as observed, giving robot simulation and embodied AI a simulation-ready replica of the real environment whose objects can be manipulated individually. Existing pipelines decompose the task into three steps---parse the observations into instances, generate an asset for each, and place each asset back---but every step presumes an input that a cluttered capture rarely provides: accurate instance geometry, unoccluded views, and assets that accurately match the observations. We propose Lucida, which keeps this order but redistributes the requirements, so each step consumes only what a real capture reliably provides and precision is reached at the end of the pipeline rather than demanded at its start. Lucida parses the video into a scene graph whose nodes carry per-instance multi-view evidence, generates a complete asset for each instance from its evidence, and places assets with GizmoAct, a VLM policy that casts placement as multi-turn GUI interaction, manipulating the object's gizmo in a closed loop and deciding itself when alignment is reached. Across scene-level 3D object detection, object pose estimation, and scene reconstruction, Lucida improves mAP over Boxer by 69% on R2S-Scene, raises [email protected] from 57.8% to 83.4% on CA-1M, and increases scene F-Score from 0.794 for SAM3D to 0.924.

한 줄 요약

Lucida는 실내 장면을 개별적으로 편집 가능한 3D 자산으로 변환하는 파이프라인으로, 기존 방법 대비 정확도를 크게 향상시킨다.

핵심 기여도

기존 파이프라인의 단계별 입력 요구 조건을 재분배하여, 실제 캡처에서 신뢰성 있게 제공되는 정보만 사용하도록 설계.
GizmoAct라는 VLM 정책을 도입하여, 자산 배치를 다단계 GUI 상호작용으로 모델링.
R2S-Scene에서 mAP 69% 향상, CA-1M에서 [email protected] 83.4% 달성, SAM3D 대비 F-Score 0.924 기록.
각 단계에서 정밀도를 요구하지 않고, 최종 배치 단계에서 정확도를 달성하는 새로운 설계 원칙 제시.

핵심 아이디어

기존의 장면 모델링 파이프라인은 장면 파싱, 자산 생성, 자산 배치의 세 단계로 구성되지만, 각 단계는 정확한 입력(예: 정밀한 인스턴스 기하, 비가림 뷰)을 전제한다. 그러나 실제 실내 캡처는 이러한 조건을 충족하지 못한다. Lucida는 이 순서를 유지하면서 단계별 입력 요구 조건을 재분배하여, 각 단계가 실제 캡처에서 신뢰성 있게 제공되는 정보만 소비하도록 설계한다. 예를 들어, 파싱 단계는 정밀한 인스턴스 재구성을 요구하지 않고, 대신 다중 뷰 증거를 통합하여 초기 3D 추정치를 제공한다. 생성 단계는 정밀한 점 구름이 아닌 이 증거를 기반으로 자산을 완성하고, 배치 단계는 GizmoAct를 통해 자산의 정확한 정렬을 달성한다. 이는 인간 모델러가 캡처 영상에서 객체를 식별하고, 모델을 생성한 후 반복적으로 정렬하는 방식을 모방한 것이다.

기술적 접근법

**Parse 단계**: Geometry-aware keyframe 선택과 객체 발견을 통해 초기 3D 추정치를 제공.
**Generate 단계**: Per-instance multi-view 증거(부분 점 구름, 3D 박스, 설명)를 기반으로 가림 없이 객체 이미지를 생성하고 3D 자산으로 변환.
**Place 단계**: GizmoAct라는 VLM 정책을 사용하여, 3D 에디터 인터페이스를 통해 자산의 9-DoF 자세를 반복적으로 조정.
**Scene Graph**: 객체 인스턴스와 공간 관계를 담은 그래프로, 각 노드는 증거 번들을 포함.
**GizmoAct 학습**: 합성 전문가 트래젝토리로 사전 학습 VLM을 미세 조정, 강화 학습으로 정책 최적화.

주요 결과

**R2S-Scene**: 3D 객체 탐지에서 Boxer 대비 mAP 69% 향상.
**CA-1M**: 객체 자세 추정에서 [email protected] 57.8% → 83.4% 향상.
**SAM3D 대비**: 장면 재구성에서 F-Score 0.794 → 0.924 향상.
GizmoAct는 다양한 초기화 오류 프로파일을 처리하는 단일 정책으로, 재학습 없이도 정확도 유지.

의의 및 한계

Lucida는 실내 장면을 개별적으로 편집 가능한 3D 자산으로 변환하는 데 기여하며, 로봇 시뮬레이션 및 에미보디드 AI 분야에서 실용적 가치가 크다. 특히, 기존 방법이 가림, 복잡성, 자산-관측 불일치를 처리하지 못하는 문제를 해결한다. 그러나 장면 파싱 단계에서 누락된 객체는 이후 단계에서 복구되지 않으며, 현재는 배치 단계만 클로즈드 루프 방식으로 처리된다. 향후 연구 방향으로는 전체 파이프라인을 클로즈드 루프 방식으로 확장하는 것이 제시된다.

실용적 활용

Lucida는 로봇 시뮬레이션, 에미보디드 AI, AR/VR 콘텐츠 생성 등에서 실제 환경을 정확히 재현하고 개별 객체를 조작할 수 있는 시뮬레이션 환경을 제공한다. 특히, 실내 장면을 CAD 자산으로 변환하여 산업 설계 및 공간 분석에 활용 가능하다.