SceneFrom3D: Geometry-Conditioned Outdoor 3D Scene Generation via View Scheduling with Object-Level Control

Geometry-conditioned 3D scene generation enables the creation of 3D environments from user-provided geometry, offering direct control over scene structure and object layout. To generate such 3D scenes, current methods commonly adopt a three-stage design that first defines a view schedule, then synthesizes multi-view observations along the scheduled views, and finally reconstructs a 3D representation from the generated images. However, defining the view schedule becomes a major bottleneck for outdoor scenes, where large, unstructured, and unbounded geometry makes it difficult to obtain views that provide sufficient coverage while supporting stable generation. To address this bottleneck, we present SceneFrom3D, a framework that automatically schedules views from outdoor input geometries. SceneFrom3D constructs a directed generation graph whose nodes represent anchor views and whose edges represent interpolation trajectories, defining which views to synthesize, which view pairs to interpolate, and in which order generation should proceed. Beyond automatic view scheduling, SceneFrom3D further improves controllability through object-level conditioning, assigning each object an identity image for appearance guidance and a geometry-adherence parameter for region-wise control over the input geometry. Experiments demonstrate that SceneFrom3D achieves state-of-the-art geometry-conditioned outdoor 3D scene generation, producing high-quality scenes with controllable object appearance and geometry adherence.

한 줄 요약

SceneFrom3D는 입력 기하학 조건에 따라 자동 뷰 스케줄링과 객체 수준 제어를 통해 실외 3D 장면을 생성하는 첫 번째 프레임워크이다.

핵심 기여도

SceneFrom3D는 입력 기하학 조건만을 사용하여, 명시적 카메라 경로 없이 실외 3D 장면을 생성하는 첫 번째 프레임워크이다.
자동 뷰 스케줄링 알고리즘을 도입하여, 앵커 뷰, 보간 경로, 생성 순서를 임의의 실외 기하학에서 추출한다.
객체 수준 조건화를 통해 각 객체의 외관과 기하학 준수를 제어할 수 있다.
3DGS 기반 장면 생성에서 높은 품질과 제어력을 보여준다.

핵심 아이디어

기존 3D 장면 생성 파이프라인은 카메라 뷰 스케줄링에 의존하며, 특히 실내 환경에서만 효과적이다. SceneFrom3D는 실외 기하학의 비구조적, 무한한 특성을 고려해 **자동 뷰 스케줄링**을 도입한다. 이는 **디렉티드 생성 그래프**를 사용하여 앵커 뷰와 보간 경로를 정의하며, 생성 순서를 결정한다.

또한, 기존 방법이 객체의 외관과 기하학 준수를 제한적으로 제어하는 반면, SceneFrom3D는 **객체 수준 조건화**를 통해 각 객체에 **아이디 이미지**와 **기하학 준수 파라미터**를 할당한다. 이는 객체의 외관과 지역별 기하학 준수를 유연하게 조절할 수 있게 한다.

기술적 접근법

**입력**: 객체 인덱스 집합 $ \mathcal{O} \equiv \{1, \dots, N\} $, 객체 메시 $ M_o $, 아이디 이미지 $ I_o $, 기하학 준수 파라미터 $ \alpha_o \in [0,1] $
**뷰 스케줄링 알고리즘**: 앵커 뷰 추출 → 보간 경로 연결 → 그래프 방향 결정
**객체 수준 조건화**:
아이디 이미지 $ I_o $: 객체 외관 지도
기하학 준수 파라미터 $ \alpha_o $: 지역별 기하학 준수 조절
**3DGS 최적화**: 생성된 뷰를 기반으로 3D Gaussian Splatting(3DGS) 표현 최적화
**손실 함수**:
기울기 손실 $ \mathcal{L}_{\mathrm{tilt}} $: 카메라 방향의 지면 편향 방지
반발력 손실 $ \mathcal{L}_{\mathrm{rep}} $: 카메라와 입력 메시 간 충돌 방지
비디오 보간: 뷰 간 부드러운 전환 및 3DGS 훈련 안정성 향상
**정제 루프**: 중복 카메라 제거, 시야 유사 카메라 병합, 미표시 표면 샘플에 새로운 카메라 추가

주요 결과

SceneFrom3D는 기하학 조건 기반 3DGS 생성에서 기존 방법 대비 **높은 품질**과 **제어력**을 보여준다.
**기하학 준수 파라미터 $ \alpha $**를 조절하면, 객체의 외관이 입력 기하학에 얼마나 정밀하게 반영되는지 조절 가능하다.
**비디오 보간 없이 생성한 경우**, 렌더링 품질이 저하되며, 일부 시각 품질 지표에서는 **고주파 아티팩트**로 인해 점수가 높게 나온다.
**정제 루프 없이 초기화된 경우**, 중복 카메라가 발생해 장면 커버리지가 저하된다.
**기존 방법 대비 +15% 이상의 품질 향상**을 보이며, **복잡한 실외 환경에서도 안정적인 생성**을 달성한다.

의의 및 한계

SceneFrom3D는 기하학 조건 기반 3D 장면 생성에서 **자동 뷰 스케줄링**과 **객체 수준 제어**를 결합한 **새로운 프레임워크**로, 실내 중심의 기존 방법을 확장한다. 특히, **3DGS 기반 표현**을 사용하여 높은 품질의 렌더링과 자유로운 탐색이 가능하다는 점에서 실용적 가치가 크다.

하지만, 한 번의 뷰에 **8개 이상의 객체 ID가 포함되면 생성 실패**가 발생하며, **글로벌 조명 사전 지식 부족으로 인해 그림자 방향 및 크기 불일치**가 발생할 수 있다. 이는 향후 연구에서 해결해야 할 한계이다.

실용적 활용

SceneFrom3D는 **가상 현실(VR)**, **게임 개발**, **로봇 시뮬레이션**, **자율 주행 시스템** 등에서 **사용자 정의 3D 환경 생성**에 활용될 수 있다. 특히, **입력 기하학에 기반한 객체 수준 제어**는 **디자인 및 시뮬레이션 과정에서의 유연성**을 높인다.