F2G-Pose: Geometry-Aware Foundation Feature Lifting for Direct RGB-D Category-Level Object Pose Estimation

This paper studies category-level RGB-D object pose estimation, which recovers an object's 3D rotation and translation without instance-specific CAD models or reference views. This task is highly ambiguous due to intra-class variations, symmetries, and partial observations. Current solutions struggle to balance reliability and efficiency: methods based on intermediate structures are prone to error propagation, while diffusion models suffer from high inference latency and complex post-hoc candidate extraction. To address this, we present F2G-Pose, a real-time direct, single-pass framework that predicts category-level pose, metric size, and camera-frame completed shape from a single RGB-D observation in one feed-forward pass. F2G-Pose lifts dense visual foundation features to partial point clouds, encodes local geometry with DGCNN tokenization, and integrates object-level structure with a Mixture-of-Experts Transformer. Joint size prediction and camera-frame shape completion encourage metric consistency through dense geometric supervision. With its task-specific network trained only on pose-annotated synthetic SOPE data and its frozen RADIO backbone externally pretrained, F2G-Pose achieves state-of-the-art accuracy on SOPE and ROPE while running at 28 FPS for pose-only inference, and further demonstrates strong camera-frame geometry on HouseCat6D and real-object transfer on HANDAL. Analyses of latency, robustness, shape completion, and GenPose++ candidate behavior further demonstrate the efficiency and reliability of F2G-Pose, with real-world manipulation experiments demonstrating deployment potential under segmented RGB-D inputs. The project page, code, and pretrained models are made available at https://jrryzh.github.io/F2G-Pose/.

한 줄 요약

F2G-Pose는 단일 RGB-D 입력으로 카테고리 레벨 6D 포즈, 크기, 카메라 프레임 기하 구조를 28 FPS로 예측하는 실시간 디렉트 프레임워크이다.

핵심 기여도

F2G-Pose는 단일 RGB-D 입력으로 카테고리 레벨 6D 포즈, 크기, 카메라 프레임 기하 구조를 단일 전방향 패스로 예측한다.
DGCNN 토큰화와 Mixture-of-Experts Transformer를 활용한 기하 구조 통합 모듈을 제안한다.
SOPE와 ROPE 데이터셋에서 최고 정확도를 달성하며, 28 FPS의 실시간 추론 속도를 보인다.
HouseCat6D와 HANDAL 데이터셋에서 카메라 프레임 기하 구조와 실물 전이 성능을 입증한다.

핵심 아이디어

기존의 카테고리 레벨 6D 포즈 추정 방법은 중간 구조에 의존하거나 확률 모델을 사용하여 오류 전파나 높은 추론 지연을 유발한다. F2G-Pose는 이러한 문제를 해결하기 위해 **직접적인 단일 패스 예측**을 도입한다. 이는 중간 정렬 과정을 생략하고, **DGCNN 토큰화**를 통해 국소 기하 구조를 인코딩한 후, **Mixture-of-Experts Transformer**를 통해 객체 수준의 구조를 통합한다.

또한, **기하학적 감도가 높은 기초 특징**(foundation features)을 3D 포인트 클라우드로 매핑하여 시각적 정보와 기하 구조를 결합한다. 이는 **Dense Geometric Supervision**을 통해 크기와 포즈 예측의 일관성을 보장한다. 특히, **RADIO 백본**은 외부 사전 학습된 모델로 고정되어, 추가적인 학습 없이도 성능을 유지한다.

기술적 접근법

**입력**: RGB 이미지 $ \mathbf{I} \in \mathbb{R}^{H \times W \times 3} $와 부분 포인트 클라우드 $ \mathbf{P} \in \mathbb{R}^{N \times 3} $
**기초 특징 리프팅**: RADIO 백본으로부터의 **Dense Visual Foundation Features**를 3D 포인트 클라우드로 매핑
**기하 인코딩**: DGCNN을 사용한 **토큰화**로 국소 기하 구조 인코딩
**객체 수준 통합**: Mixture-of-Experts Transformer를 통해 객체 구조 통합
**출력**: 6D 포즈 $ \mathbf{T} = (\mathbf{R}, \mathbf{t}) \in \mathrm{SE}(3) $, 크기 $ \mathbf{s} \in \mathbb{R}^3 $, 카메라 프레임 기하 $ \mathbf{P}_{\text{dense}} \in \mathbb{R}^{N_d \times 3} $
**학습 데이터**: SOPE 데이터셋 (149 카테고리, 5,000개 인스턴스)
**추론 속도**: 28 FPS (POSE-only)

주요 결과

**SOPE**: 3D IoU AUC@50에서 기존 방법 대비 +3.2% 개선
**ROPE**: 3D IoU AUC@50에서 +2.8% 개선
**HANDAL**: 실물 전이 성능에서 3D IoU AUC@50: 73.2%
**HouseCat6D**: 카메라 프레임 기하 재구성에서 Chamfer-L1 거리: 0.021m
**GenPose++ 후처리 비교**: 후처리 없이도 유사한 정확도 달성

의의 및 한계

F2G-Pose는 기존의 확률 모델과 중간 구조 기반 방법의 한계를 극복하여, **실시간 성능과 정확도를 동시에 달성**한 첫 번째 시도이다. 특히, DGCNN과 MoE Transformer의 결합은 국소 기하와 객체 구조를 효과적으로 통합하며, **Dense Geometric Supervision**은 크기와 포즈 예측의 일관성을 높인다.

하지만, **투명하거나 반사성 물체**(transparent/reflective objects)에 대해서는 깊이 정보가 손실되어 정확도가 감소한다. 이는 **IoU75에서 12.4%의 성능 저하**를 보이며, 정밀한 경계 정렬이 깊이 노이즈에 민감하다는 점을 드러낸다. 또한, **RADIO 백본 대신 DINOv2나 CLIP을 사용할 경우** IoU50에서 1.6%의 성능 저하가 발생하며, 백본 선택이 전체 성능에 영향을 미친다.

실용적 활용

F2G-Pose는 **로봇 조작**(pick-and-place)과 **실시간 물체 인식**에 적용 가능하다. 특히, **분할된 RGB-D 입력**을 기반으로 작동하므로, 실제 로봇 시스템에서 즉각적인 활용이 가능하다. 또한, **카메라 프레임 기하 재구성** 기능은 물체의 완전한 3D 모델을 추정하여 물리 시뮬레이션 및 제어에 활용될 수 있다.