한 줄 요약
3D 장면을 객체 중심의 인스턴스 구조화된 토큰 그룹으로 재구성하는 프레임워크를 제안하여, 객체 수준의 편집 및 검색을 가능하게 한다.
핵심 기여도
- 인스턴스 토큰과 앵커 토큰을 결합한 3D 토큰 그룹을 도입하여 객체 구조를 직접적으로 표현.
- 3D 재구성과 인스턴스 분할을 결합한 학습 프레임워크를 제안, 3D 어노테이션 없이도 인스턴스 구조를 학습.
- ScanNet 데이터셋에서 클래스-무관 인스턴스 분할 성능이 기존 퍼-씬 최적화 기반 모델을 초과.
- 인스턴스 수준의 3D 편집 및 오픈-바보러리 3D 인스턴스 검색을 직접적으로 지원.
핵심 아이디어
기존 3D 재구성 방법은 점군이나 가우시안과 같은 원시적 요소로 장면을 표현하여 객체 구조를 사후 처리해야 하는 한계가 있다. 본 연구는 객체 중심의 인스턴스 구조를 토큰 그룹 형태로 직접 학습하는 새로운 접근법을 제안한다. 각 토큰 그룹은 인스턴스 토큰(객체의 정체성)과 앵커 토큰(지역 기하와 외관)으로 구성되며, 이는 3D 가우시안으로 디코딩된다. 이 이중 구조화는 객체 정체성과 지역 외관을 분리하여, 객체 인스턴스를 표현의 기본 단위로 삼는다.
이러한 토큰 그룹은 미분 가능한 렌더링을 기반으로, 재구성과 분할을 결합한 손실 함수를 통해 학습되며, 3D 어노테이션 없이도 인스턴스 구조를 학습할 수 있다. 또한, 2D 기초 모델의 특징을 토큰 그룹에 압축하여, 객체 수준의 의미 표현을 유지하면서도 지역 세부 정보를 보존한다. 이는 객체 수준의 편집과 검색을 가능하게 하며, 기존 방식보다 더 직관적인 인터페이스를 제공한다.
기술적 접근법
- **모델 구조**: 이미지-앵커 트랜스포머 (𝒟_anchor)와 앵커-그룹 트랜스포머 (𝒟_group)를 사용하여, 컨텍스트 토큰을 기반으로 앵커 토큰과 그룹 토큰을 생성.
- **학습 방식**: 미분 가능한 2D 렌더링을 통해 RGB 이미지와 인스턴스 마스크를 사용한 재구성 및 분할 손실을 결합.
- **하이퍼파라미터**: 앵커 레벨 잔차 차원은 8, 최대 그룹 수는 100, 앵커 토큰 수는 1,024.
- **트레이닝 설정**: 2뷰 설정은 4개의 RTX A6000 GPU에서 약 20시간, 8뷰 설정은 4개의 H200 GPU에서 약 12시간 학습.
- **손실 가중치**: λ_lpips = 0.05, λ_seg = 0.1, λ_seg는 처음 1,500 스텝 동안 워밍업 적용.
주요 결과
- **ScanNet 데이터셋**에서 **클래스-무관 인스턴스 분할** 성능이 기존 퍼-씬 최적화 기반 모델을 초과.
- **재구성 품질**은 기존 방법과 경쟁 수준.
- 인스턴스 토큰 그룹을 기반으로 **객체 수준 편집**(제거, 이동, 삽입) 및 **오픈-바보러리 3D 인스턴스 검색**이 가능.
- 검색 복잡도는 객체 수에 비례하여, 기존 방식보다 효율적.
의의 및 한계
본 연구는 3D 장면 표현을 객체 중심으로 재구성함으로써, 객체 수준의 추론과 편집을 가능하게 하는 새로운 인터페이스를 제시한다. 이는 3D 장면과 대규모 언어 모델 간의 연결, 로봇 세계 모델의 구축 등 다양한 응용 가능성을 열어준다.
하지만, 현재 모델은 주로 **실내 장면**에 초점을 맞추고 있으며, **대규모 외부 장면**으로 확장하는 데 어려움이 있다. 또한, 고정된 최대 그룹 수 (L=100)와 단일 공유 그룹 레벨 토큰의 제한성도 한계로 지적된다. **동적 장면** 처리 및 실시간 추론 기능 확장이 필요하다.
실용적 활용
본 연구는 로봇이 물체를 인식하고 조작하는 데 필요한 **객체 중심 세계 모델**의 구축에 기여할 수 있다. 또한, **3D 콘텐츠 생성** 및 **자연어 기반 장면 검색** 등 다양한 산업 분야에서 활용 가능하다.