ShapeLLM: Universal 3D Object Understanding for Embodied Interaction

This paper presents ShapeLLM, the first 3D Multimodal Large Language Model (LLM) designed for embodied interaction, exploring a universal 3D object understanding with 3D point clouds and languages. ShapeLLM is built upon an improved 3D encoder by extending ReCon to ReCon++ that benefits from multi-view image distillation for enhanced geometry understanding. By utilizing ReCon++ as the 3D point cloud input encoder for LLMs, ShapeLLM is trained on constructed instruction-following data and tested on our newly human-curated benchmark, 3D MM-Vet. ReCon++ and ShapeLLM achieve state-of-the-art performance in 3D geometry understanding and language-unified 3D interaction tasks, such as embodied visual grounding. Project page: https://qizekun.github.io/shapellm/

한 줄 요약

ShapeLLM은 3D 포인트 클라우드와 언어를 결합한 첫 번째 3D 멀티모달 대형 언어 모델로, ReCon++를 기반으로 3D 객체 이해와 체화된 상호작용을 가능하게 한다.

핵심 기여도

ReCon++: ReCon을 확장한 3D 인코더로, 다중 뷰 이미지 디스틸레이션을 통해 3D 기하 이해를 향상시킴.
3D MM-Vet: 새로운 인간이 정리한 3D 멀티모달 평가 벤치마크를 제안함.
ShapeLLM-7B 및 ShapeLLM-13B: 3D MM-Vet에서 각각 42.7%와 49.3%의 전체 정확도를 달성하며 기존 최고 성능을 2.1%와 5.1% 개선함.
ScanObjectNN에서 95.25%의 미세 조정 정확도를 달성함.

핵심 아이디어

ShapeLLM은 3D 객체와 언어를 통합한 체화된 상호작용을 가능하게 하기 위해 3D 포인트 클라우드를 직접 입력으로 사용한다. 기존 연구는 2D 이미지로 변환한 포인트 클라우드를 사용했으나, 이는 정확한 3D 기하 정보를 잃고 시각 환영 문제를 유발한다. ShapeLLM은 ReCon++라는 3D 인코더를 통해 다중 뷰 이미지 디스틸레이션을 적용하여, 다양한 수준의 기하 정보를 효과적으로 학습한다. ReCon++는 Hungarian 알고리즘을 기반으로 선택적 뷰 매칭을 수행해 최적화와 일반화를 동시에 달성한다. 또한, ShapeLLM은 GPT-4V를 활용한 45,000개의 지시사항 데이터와 30,000개의 체화된 부위 이해 데이터로 3D 시각 지시 훈련을 수행하여, 다양한 3D 이해 작업을 언어 인터페이스로 통합한다.

기술적 접근법

**3D 인코더**: ReCon++는 ReCon을 확장한 3D 인코더로, 다중 뷰 이미지 디스틸레이션을 통해 3D 기하 이해를 향상시킴.
**입력 처리**: 3D 포인트 클라우드는 FPS를 사용해 Ns 개의 시드 포인트로 샘플링되고, K개의 이웃으로 그룹화됨.
**임베딩 생성**: 각 그룹에서 최대 풀링을 사용해 지역 임베딩을 생성하고, MLP를 통해 특징 추출.
**프롬프트 조절**: APE, 지역, 글로벌 ReCon++ 표현을 조절하기 위해 Q개의 학습 가능한 임베딩을 추가함.
**지시 훈련**: GPT-4V를 사용해 45,000개의 지시 데이터와 30,000개의 체화된 부위 이해 데이터로 훈련됨.

주요 결과

**ScanObjectNN**: ReCon++는 미세 조정 정확도 95.25%를 달성함.
**Objaverse-LVIS**: ReCon++는 제로샷 정확도 53.7%를 달성함.
**3D MM-Vet**: ShapeLLM-7B와 ShapeLLM-13B는 각각 42.7%와 49.3%의 전체 정확도를 달성함. 이는 기존 최고 성능 대비 +2.1%와 +5.1% 개선됨.
**다운스트림 작업**: 3D 캡셔닝, 3D VQA, 체화된 작업 계획 및 분해, 3D 체화된 시각 접지, 3D 정밀 참조 대화 등 다양한 작업을 통합함.

의의 및 한계

ShapeLLM은 체화된 상호작용을 위한 첫 번째 3D 멀티모달 LLM으로, 3D 포인트 클라우드와 언어를 통합한 새로운 접근법을 제시한다. ReCon++를 기반으로 한 3D 인코더는 기존 3D 인식 작업에서 최고 성능을 달성했으며, 3D MM-Vet라는 새로운 평가 벤치마크는 체화된 상호작용 연구를 촉진할 수 있다. 그러나, 3D 포인트 클라우드의 처리는 계산 비용이 높고, 대규모 데이터셋에 의존한다는 한계가 있다. 또한, 체화된 상호작용의 동적 환경에서의 실시간 적용 가능성은 추가 연구가 필요하다.

실용적 활용

ShapeLLM은 로봇, 증강현실, 3D 인터페이스 개발 등 체화된 상호작용이 필요한 산업에 적용 가능하다. 특히, 6-DoF 객체 자세 추정과 같은 정밀한 3D 구조 이해가 요구되는 작업에서 유용하다. 또한, 3D MM-Vet 벤치마크는 3D 멀티모달 모델의 평가와 비교를 위한 표준 도구로 활용될 수 있다.