SG-Nav: Online 3D Scene Graph Prompting for LLM-based Zero-shot Object Navigation

In this paper, we propose a new framework for zero-shot object navigation. Existing zero-shot object navigation methods prompt LLM with the text of spatially closed objects, which lacks enough scene context for in-depth reasoning. To better preserve the information of environment and fully exploit the reasoning ability of LLM, we propose to represent the observed scene with 3D scene graph. The scene graph encodes the relationships between objects, groups and rooms with a LLM-friendly structure, for which we design a hierarchical chain-of-thought prompt to help LLM reason the goal location according to scene context by traversing the nodes and edges. Moreover, benefit from the scene graph representation, we further design a re-perception mechanism to empower the object navigation framework with the ability to correct perception error. We conduct extensive experiments on MP3D, HM3D and RoboTHOR environments, where SG-Nav surpasses previous state-of-the-art zero-shot methods by more than 10% SR on all benchmarks, while the decision process is explainable. To the best of our knowledge, SG-Nav is the first zero-shot method that achieves even higher performance than supervised object navigation methods on the challenging MP3D benchmark.

한 줄 요약

SG-Nav는 3D 장면 그래프 기반의 LLM 프롬프팅을 통해 제로샷 물체 탐색 성능을 10% 이상 향상시키는 새로운 프레임워크이다.

핵심 기여도

3D 장면 그래프를 사용하여 장면 맥락을 보존하고 LLM의 추론 능력을 활용.
계층적 chain-of-thought 프롬프팅을 도입하여 탐색 결정 과정을 설명 가능하게 함.
재감지 메커니즘을 통해 감지 오류를 보완, 제로샷 탐색의 안정성 향상.
MP3D, HM3D, RoboTHOR 환경에서 기존 제로샷 방법 대비 10% 이상 성공률(SR) 향상.

핵심 아이디어

기존 제로샷 탐색 방법은 LLM에 인접 물체의 범주 텍스트만을 프롬프트로 제공하여, 공간 관계와 장면 맥락 정보가 부족한 문제가 있었다. SG-Nav는 이 문제를 해결하기 위해 3D 장면 그래프를 사용하여 장면의 객체, 그룹, 방 간의 관계를 LLM이 이해할 수 있는 구조로 표현한다. 이 장면 그래프는 탐색 과정에서 실시간으로 업데이트되며, 계층적 chain-of-thought 프롬프팅을 통해 LLM이 노드와 엣지를 탐색하면서 목표 위치를 추론하도록 돕는다. 또한, 감지 오류를 보완하기 위해 그래프 기반 재감지 메커니즘을 도입하여 신뢰도가 낮은 목표 객체를 포기하도록 설계되었다.

기술적 접근법

**3D 장면 그래프 생성**: 탐색 과정에서 실시간으로 생성되며, 새로운 노드는 이전 노드와 밀집 연결된다.
**계층적 chain-of-thought 프롬프팅**: 장면 그래프를 여러 서브그래프로 나누고, 각 서브그래프에 대해 LLM을 프롬프트하여 확률을 예측한 후, 이를 frontier에 보간하여 결정.
**재감지 메커니즘**: 서브그래프의 관련 확률을 누적하여 목표 객체의 신뢰도를 판단, 낮은 신뢰도 객체는 포기.
**효율적 엣지 생성**: O(m(m+n)) 복잡도의 기존 방법 대신, 선형 복잡도를 가진 프롬프트 기반 방법을 사용하여 장면 그래프 생성 속도 향상.

주요 결과

**MP3D**: 기존 제로샷 방법 대비 10% 이상 SR 향상.
**HM3D, RoboTHOR**: 동일하게 10% 이상 SR 향상.
**재감지 메커니즘 제거 시**: SR이 5% 이상 감소.
**그룹 노드 제거 시**: MP3D에서 1.1% SR 감소.
**엣지 제거 시**: 성능 저하가 명확히 나타남.

의의 및 한계

SG-Nav는 제로샷 물체 탐색에서 첫 번째로 감독 학습 방법을 초과하는 성능을 달성한 모델로, LLM의 추론 능력을 최대한 활용한 구조적 프롬프팅 방식의 성공 사례이다. 또한, 결정 과정이 설명 가능하기 때문에 인간-로봇 상호작용 환경에서 실용성이 높다. 그러나 3D 인스턴스 분할 모델에 의존하며, 현재는 2D 비전-언어 모델을 사용하는 비엔드투엔드 방식이므로, 3D 인식 능력을 갖춘 모델로 전환하면 성능이 더 향상될 것으로 기대된다. 또한, 현재는 물체 탐색에만 적용 가능한 상태이며, 이미지-목표 탐색이나 비전-언어 탐색으로 확장 가능성은 언급되었으나 구현되지 않았다.

실용적 활용

SG-Nav는 로봇이 미지 환경에서 제로샷으로 물체를 탐색해야 하는 상황, 예를 들어 가정용 로봇이나 탐사 로봇에 적용 가능하다. 또한, 인간-로봇 상호작용 시 결정 과정이 설명 가능하기 때문에 신뢰도 높은 시스템 구축에 유용하다.