Scene-Designer: Learning Design Intelligence for Agentic 3D Scene Generation

Generating complete, coherent, and usable 3D indoor scenes from natural language requires strong design intelligence: the ability to design high-quality scenes and critique their quality. However, existing approaches either rely on general-purpose models lacking domain-specific design experience or learn from static scenes. In this work, we introduce Scene-Designer, an agentic framework that learns design intelligence through complementary design and critique experiences. We construct two datasets: Scene-OTA-35K, which provides Observation--Thought--Action supervision for learning scene design and efficient error correction, and Scene-OTC-15K, which provides Observation--Thought--Critic supervision for learning scene quality critique across physical validity, functional correctness, and layout coherence. Based on these experiences, we propose Scene-GRPO, a Critic-guided GRPO framework that improves design decisions and reduces unnecessary trial-and-error corrections. Extensive experiments demonstrate that Scene-Designer achieves superior performance in physical validity, functional correctness, and layout coherence, while the learned Scene-Critic significantly outperforms general-purpose models in scene critique. Moreover, test-time Critic guidance further improves scene generation, showing that the Critic can provide useful guidance beyond training. Additional analysis suggests a trend of mutual enhancement between scene design and critique abilities.

한 줄 요약

Scene-Designer는 설계와 평가를 결합한 에이전트 기반 3D 인테리어 장면 생성 프레임워크로, Scene-GRPO 알고리즘과 Scene-OTA-35K, Scene-OTC-15K 데이터셋을 통해 설계 지능을 학습한다.

핵심 기여도

Scene-OTA-35K와 Scene-OTC-15K 두 데이터셋을 구축하여 설계 경험과 평가 경험을 제공.
Scene-GRPO 알고리즘을 제안하여 설계 결정을 최적화하고 불필요한 시도-오류를 감소.
Scene-Critic 모듈이 GPT-5.2 대비 89% vs 72%의 정확도로 장면 평가 성능 향상.
테스트 시점에서도 Critic이 유용한 지침을 제공하여 장면 생성 품질 향상.

핵심 아이디어

기존 3D 장면 생성 모델은 설계 경험 부족 또는 정적 데이터에 의존하여 설계 지능을 제대로 학습하지 못한다. Scene-Designer는 설계와 평가를 병행하는 경험을 통해 설계 지능을 학습하는 에이전트 기반 프레임워크이다. 이는 설계 과정에서 발생하는 Observation–Thought–Action (OTA)와 Observation–Thought–Critic (OTC) 데이터를 통해 모델이 설계 결정과 평가 능력을 동시에 개선하도록 유도한다. 특히, Scene-GRPO 알고리즘은 평가 모듈(Critic)의 피드백을 기반으로 설계 과정을 최적화하여 불필요한 시도-오류를 줄이고, 설계 품질을 향상시킨다.

기술적 접근법

**데이터셋**: Scene-OTA-35K (1K 장면, 35K OTA 인터랙션)와 Scene-OTC-15K (15K 장면 비교 샘플)를 구축.
**모델 구조**: Qwen3-VL-8B-Instruct 기반 모델을 사용, 전체 파라미터 미세조정(SFT) 후 Scene-GRPO 적용.
**Scene-GRPO**: 4개의 분기(branch)를 생성하며, 각 편집 단계에서 Critic 모듈이 후보 장면을 비교하고 개선 여부를 평가.
**하이퍼파라미터**: SFT 학습률 1×10⁻⁵, GRPO 학습률 1×10⁻⁶, 최대 편집 단계 80.

주요 결과

**물리적 유효성**: Scene-Designer는 Scene-Builder 대비 5개 이상의 수정이 필요한 상호작용 방향 오류 비율이 40% → 7% 감소.
**기능적 정확도**: 창문 접근성 차단 오류 비율이 21% → 5% 감소.
**장면 평가**: Scene-Critic은 2장면 비교 정확도 89%, 4장면 순위 정확도 76% 달성 (GPT-5.2 대비 72% vs 15%).
**설계-평가 상호 강화**: 설계와 평가 능력이 상호 보완적으로 향상되는 경향이 관찰됨.

의의 및 한계

Scene-Designer는 설계 과정에서 발생하는 동적 경험을 학습하여 기존 정적 데이터 기반 모델의 한계를 극복한다. 특히, Scene-GRPO는 평가 모듈을 활용한 설계 최적화를 통해 품질을 향상시키며, 테스트 시점에서도 유용한 지침을 제공한다. 그러나 현재 데이터셋은 인테리어 장면에만 적용되며, 다른 장면 유형(예: 외부 장면)으로 확장 가능성은 명시되지 않음. 또한, 장면 생성 과정에서의 창의성이나 미적 감각을 평가하는 방법은 아직 개선이 필요하다.

실용적 활용

Scene-Designer는 가상 현실 콘텐츠 제작, 자동화된 공간 설계, 인공지능 에이전트 개발 등에서 활용 가능하다. 특히, 건축, 인테리어, 게임 산업에서 사용자 지정 3D 장면 생성에 유용하며, 설계 과정에서 실시간 피드백을 제공하는 설계 도구로도 활용될 수 있다.