Chat-Edit-3D++: Interactive 3D and 4D Scene Editing via Large Language Models

Recent work on image content manipulation based on vision-language pre-training models has been effectively extended to text-driven 3D scene editing. However, existing schemes for 3D scene editing still have certain shortcomings, hindering their further development as interactive design tools. Such schemes typically adhere to fixed input patterns, limiting flexibility in text input. Furthermore, their editing capabilities are constrained by a single or a few 2D visual models and require intricate pipeline design to integrate these models into 3D reconstruction processes. To address the aforementioned issues, we propose the Hash-Atlas network, which reformulates 3D scene editing as operations on 2D atlas images, thereby achieving a workflow decoupling of the 2D editing and 3D reconstruction processes. Building on this foundation, we introduce a dialogue-based 3D scene editing approach, termed CE3D++, which is centered on a large language model (LLM) that allows arbitrary textual input from users and interprets their intentions, subsequently facilitating the autonomous invocation of the corresponding visual models. Additionally, we extend CE3D++ to monocular 4D scenes by imposing motion constraints on moving objects and further fine-tuning the LLM by creating a trajectory dataset related to editing tasks, which enables the smaller LLM to schedule up to 30 different visual tools accurately. Experimental results demonstrate that CE3D++ effectively integrates multiple visual models to achieve diverse visual editing effects, possessing strong scene comprehension and multi-round dialog capabilities. The source codes and trained models are available at https://github.com/Fangkang515/CE3D.

한 줄 요약

CE3D++는 대규모 언어 모델을 기반으로 사용자의 임의 텍스트 입력을 해석해 3D/4D 장면 편집을 가능하게 하는 대화형 편집 프레임워크이다.

핵심 기여도

Hash-Atlas 네트워크를 제안하여 3D 장면 편집을 2D 이미지 작업으로 재구성함.
대규모 언어 모델(LLM) 기반의 대화형 3D 편집 프레임워크 CE3D++를 제시함.
4D 장면 확장을 위해 움직이는 객체에 운동 제약을 적용하고, 편집 작업과 관련된 트래젝토리 데이터셋을 생성함.
30개 이상의 시각 모델을 정확히 스케줄링할 수 있는 소형 LLM을 구현함.

핵심 아이디어

기존 3D 편집 시스템은 고정된 입력 패턴과 복잡한 파이프라인 설계로 유연성이 제한되었다. 이를 해결하기 위해, CE3D++는 사용자의 임의 텍스트 입력을 해석하는 LLM을 핵심으로 하여, 2D 편집과 3D 재구성 작업을 분리하는 Hash-Atlas 네트워크를 도입했다. 이는 2D 이미지 작업을 기반으로 3D 장면을 편집할 수 있도록 했다. 또한, 4D 장면 편집을 위해 움직이는 객체의 트래젝토리를 제어하는 운동 제약을 적용하고, 편집 작업에 맞춘 트래젝토리 데이터셋을 생성하여 LLM의 정확도를 높였다.

기술적 접근법

**Hash-Atlas 네트워크**: 3D 장면 편집을 2D 이미지 작업으로 변환하여 2D 편집과 3D 재구성 작업을 분리.
**LLM 기반 대화 프레임워크**: 사용자의 임의 텍스트 입력을 해석하고, 적절한 시각 모델을 자동 호출.
**트래젝토리 데이터셋 생성**: 4D 장면 편집을 위한 움직이는 객체의 트래젝토리 정보를 포함한 데이터셋을 생성.
**LLM 미세 조정**: 생성된 트래젝토리 데이터셋을 기반으로 LLM을 미세 조정하여 30개 이상의 시각 도구를 정확히 스케줄링.

주요 결과

CE3D++는 다중 시각 모델을 효과적으로 통합하여 다양한 시각 편집 효과를 달성함.
대규모 언어 모델을 통해 강력한 장면 이해와 다라운 대화 능력을 보임.
4D 장면 편집에서 움직이는 객체의 트래젝토리 제어를 정확히 수행함.
30개 이상의 시각 도구를 정확히 스케줄링하는 소형 LLM을 구현함.

의의 및 한계

CE3D++는 3D/4D 장면 편집에서 사용자와의 대화를 기반으로 유연한 편집을 가능하게 하며, 다양한 시각 모델을 통합하는 새로운 프레임워크를 제시한다. 특히, Hash-Atlas 네트워크를 통해 2D 편집과 3D 재구성을 분리함으로써 작업 흐름의 복잡성을 줄였다. 그러나, 사용자의 텍스트 입력 해석 정확도나 특정 상황에서의 트래젝토리 예측 오류는 아직 개선이 필요하다. 또한, 사용 가능한 시각 모델의 범위와 편집 가능한 장면의 복잡도는 제한적일 수 있다.

실용적 활용

CE3D++는 건축, 게임 개발, 영화 제작 등 3D/4D 장면 편집이 필요한 산업에서 사용자와의 대화를 통해 실시간으로 장면을 수정할 수 있는 도구로 활용될 수 있다. 또한, 연구 분야에서는 대규모 언어 모델과 3D 편집의 통합 연구에 기초 자료로 쓰일 수 있다.