R$^3$L: Reasoning 3D Layouts from Relative Spatial Relations

Relative spatial relations provide a compact representation of spatial structure and are fundamental to relative spatial reasoning in 3D layout generation. Recent works leverage Multimodal Large Language Models (MLLMs) to infer such relations, but the inferred relations are often unreliable and are typically handled with post-hoc heuristics. In this paper, we propose R$^3$L, a general framework that improves the reliability and consistency of relative spatial reasoning for 3D layout generation. Our key motivation is that multi-hop reasoning requires repeated reference-frame transformations, which accumulate errors in inferred relations and lead to semantic and metric drift. To mitigate this, we propose invariant spatial decomposition to break coupled relation chains, and consistent spatial imagination to promote self-consistency through an imagine-and-revise loop. We further introduce supportive spatial optimization to ease pose optimization via global-to-local coordinate re-parameterization. Extensive experiments across diverse scene types and instructions demonstrate that R$^3$L produces more physically feasible and semantically consistent layouts. Notably, our analysis shows that resolving frame-induced inconsistencies is crucial for reliable multi-hop relative spatial reasoning. The code is available at https://github.com/Neal2020GitHub/R3L.

📋 한 줄 요약

**[3D 비전/MLLM]** 상대적 공간 관계로부터 3D 레이아웃을 추론할 때 발생하는 다중 홉 좌표 변환 오류를 분해·일관성·최적화 3단계로 잡아내는 프레임워크 R³L을 제안.

🎯 핵심 기여도

상대 공간 관계 기반 3D 레이아웃 생성을 위한 일반화된 추론 프레임워크 R³L 제시
결합된 관계 사슬을 분해하는 invariant spatial decomposition 도입
imagine-and-revise 루프 기반의 consistent spatial imagination으로 자기 일관성 강화
전역-지역 좌표 재매개변수화를 통한 supportive spatial optimization로 포즈 최적화 안정화

💡 핵심 아이디어

MLLM이 추론한 상대 공간 관계는 다중 홉을 거치면 참조 프레임 변환 오류가 누적되어 의미적·계량적 표류(drift)를 일으킨다. 이 표류를 일으키는 "결합된 관계 사슬"을 끊고, 상상한 결과를 다시 검증하는 루프로 일관성을 회복시키는 것이 R³L의 핵심이다.

🔬 기술적 접근법

**모델/방법론**: MLLM이 객체 간 상대적 공간 관계를 추론하고, R³L이 이를 신뢰 가능한 3D 레이아웃으로 변환하는 모듈식 프레임워크
**핵심 기법**: (1) Invariant Spatial Decomposition — 좌표계에 의존적인 관계 사슬을 좌표 불변 단위로 분해, (2) Consistent Spatial Imagination — 상상 후 재검토하는 self-consistency 루프, (3) Supportive Spatial Optimization — 전역에서 지역 좌표로 재매개화하여 포즈 최적화 안정화

📊 주요 결과

다양한 장면 유형과 지시문 전반에서 물리적으로 더 가능하고 의미적으로 일관된 레이아웃 생성
다중 홉 상대 공간 추론에서 프레임으로 인한 불일치 해소가 신뢰성의 핵심임을 분석으로 확인
코드 공개(https://github.com/Neal2020GitHub/R3L)

💭 의의 및 한계

**의의**: 자연어/상대 관계 기반 3D 레이아웃 생성에서 MLLM의 약점을 명확히 진단하고, 후처리 휴리스틱이 아닌 원리적 해법을 제시한 점에서 가치가 크다. **한계**: 평가가 합성 장면 중심에 머무를 경우 실제 잡음 많은 입력에서의 견고성에는 추가 검증이 필요하며, MLLM 호출 비용이 다중 홉 검증으로 누적될 수 있다.

🚀 실용적 활용

텍스트 지시 기반 실내 장면 자동 생성(인테리어/게임 레벨 디자인)
로봇 매니퓰레이션을 위한 공간 추론 모듈
AR/VR에서 자연어로 3D 가구 배치 편집