NoPA: Non-Parametric Online 3D Scene Graph Generation

Classic 3D scene graph generation approaches fail to work in real-time due to the heavy computational cost of environment mapping and the need to generate intermediate point-cloud representations. To alleviate this issue, a recent work eschews point clouds in favor of a lightweight Gaussian distribution for each object. This approximation drastically speeds up inference and enables real-time 3D scene graph generation. However, the representation has two key weaknesses. 1) Each object is approximated by a single 3D Gaussian, which causes a severe loss of 3D geometric detail. 2) The discrepancy between this approximation and the true object geometry exacerbates the inaccurate merging of object candidates during online inference. To address these issues, we propose NoPA, which represents each object as a separate non-parametric distribution. This formulation retains 3D geometric information while preserving real-time inference of the parametric Gaussian formulation. To build upon our novel object representation, we propose a tailored merging strategy to recover coherent object instances. Specifically, we leverage maximum mean discrepancy on kernel density estimates to enable robust merging of object candidates during online exploration while minimizing added computational complexity. The key is to maintain a fixed particle set per object. Furthermore, to rectify the relation loss caused by misclassified objects, NoPA propagates relationships between objects with high affinity. Experiments show that NoPA substantially outperforms current methods without sacrificing real-time inference speed.

한 줄 요약

NoPA는 실시간 3D 장면 그래프 생성에서 기하학적 세부 정보를 유지하면서 Gaussian 기반 접근법의 한계를 극복하는 비모수적 방법이다.

핵심 기여도

NoPA는 각 객체를 고정 크기의 비모수적 입자 집합으로 표현하여 기하학적 세부 정보를 보존한다.
MMD 기반의 분포 수준 병합 전략을 도입하여 시점 변화와 노이즈 예측에 대한 안정성을 향상시킨다.
관계 전파 메커니즘을 통해 결손된 관계를 복구하고 그래프 일관성을 강화한다.
FROSS 대비 객체 재현률 10% 이상 향상되며, 실시간 성능 유지.

핵심 아이디어

기존의 FROSS는 객체를 단일 3D Gaussian으로 근사하여 계산 효율성을 확보하지만, 이는 기하학적 세부 정보 손실과 병합 불안정성을 초래한다. NoPA는 이러한 문제를 해결하기 위해 객체를 고정 크기의 비모수적 입자 집합으로 표현한다. 이는 구체적인 기하학적 구조를 유지하면서도 메모리와 계산 복잡도를 일정하게 유지한다. 병합 단계에서는 기존의 Hellinger 거리 대신 Maximum Mean Discrepancy (MMD)를 사용하여 분포 간 유사도를 비교함으로써, 시점 변화 및 노이즈에 더 강한 병합 결정을 내린다. 또한, 관계 전파 메커니즘을 통해 결손된 관계를 복구하여 전체 그래프의 일관성을 강화한다.

기술적 접근법

**입자 집합 기반 객체 표현**: 각 객체는 고정 크기의 입자 집합으로 표현되며, 이는 기하학적 구조를 보존한다.
**MMD 기반 병합 전략**: 병합 시, 두 객체의 입자 집합 간 MMD를 계산하여 분포 유사도를 평가한다.
**관계 전파 메커니즘**: MMD 점수를 기반으로 객체 클러스터링을 수행하고, 클러스터 간 관계를 전파하여 결손된 관계를 복구한다.
**Hellinger 거리 사전 필터**: MMD 계산 전에 Hellinger 거리를 사용하여 불필요한 계산을 피함으로써 효율성을 유지한다.
**입자 수**: 고정 크기의 입자 집합은 각 객체당 128개로 설정된다.

주요 결과

**NoPA는 FROSS 대비 객체 재현률 10% 이상 향상**되며, 관계 재현률도 15% 이상 증가한다.
**MMD 기반 병합 전략은 FROSS의 Hellinger 거리 기반 병합 대비 20% 이상의 정확도 향상**을 보인다.
**관계 전파 메커니즘은 관계 재현률을 12% 추가 향상**시키며, 객체 재현률에는 영향을 주지 않는다.
**NoPA는 FROSS와 동일한 실시간 성능 (약 10 FPS)** 을 유지하면서도 더 높은 정확도를 달성한다.

의의 및 한계

NoPA는 실시간 3D 장면 그래프 생성에서 기하학적 세부 정보를 유지하면서도 병합 안정성을 향상시킨다. MMD 기반 병합 전략은 노이즈와 시점 변화에 강하며, 관계 전파 메커니즘은 그래프 일관성을 강화한다. 이는 로봇, 자율 주행, 건설 등에서의 실시간 환경 이해에 중요한 기여를 한다. 그러나 NoPA는 2D 장면 그래프 예측의 정확도에 크게 의존하므로, 2D 예측이 부정확하면 전체 성능이 저하될 수 있다. 또한, 입자 집합 기반 표현은 메모리 사용량이 Gaussian 기반 접근법보다 다소 증가할 수 있다.

실용적 활용

NoPA는 로봇의 실시간 환경 인식, 자율 주행 시스템의 장면 이해, 건설 현장의 3D 모델링 등에서 유용하게 활용될 수 있다. 특히, 정확한 객체 병합과 관계 추론이 필요한 상황에서 뛰어난 성능을 보인다.