3D HAMSTER: Bridging Planning and Control in Hierarchical Vision Language Action Models through 3D Trajectory Guidance

Hierarchical Vision-Language-Action (VLA) models decouple high-level planning from low-level control to improve generalization in robot manipulation. Recent work in this paradigm uses 2D end-effector trajectories predicted by a Vision-Language Model (VLM) as explicit guidance for a downstream policy. However, state-of-the-art low-level policies operate in 3D metric space on point clouds, and feeding them 2D guidance that lacks depth forces each waypoint to be assigned the depth of whatever scene surface lies beneath it, producing geometrically distorted trajectories. We propose 3D HAMSTER, a hierarchical framework that closes this gap by having the planner directly output metrically reliable 3D trajectories. We augment a VLM with a dedicated depth encoder and a dense depth reconstruction objective to predict 3D waypoint sequences, which are directly integrated into a pointcloudbased low-level policy. Across 3D trajectory prediction, simulation, and real-world manipulation, 3D HAMSTER consistently outperforms proprietary VLMs and 2D-guided baselines, with the largest gains under appearance-altering shifts and unseen language, spatial, and visual conditions. The project page is available at https://davian-robotics.github.io/3D_HAMSTER/.

한 줄 요약

3D HAMSTER는 3D 경로 예측을 통해 계층적 VLA 모델의 계획과 제어 간 격차를 해소한다.

핵심 기여도

2D 경로 대신 3D 메트릭 경로를 생성하여 기하학적 왜곡을 줄임.
VLM에 전용 depth encoder와 dense depth reconstruction objective를 추가하여 3D 웨이포인트 시퀀스를 예측.
DroidSpatial-Bench, Colosseum, 실제 로봇 실험에서 2D 기반 베이스라인 대비 10~20% 성능 향상.
언어, 시각, 공간 조건 변화에 강한 일반화 능력 보임.

핵심 아이디어

기존 VLA 모델은 2D 경로를 생성하여 3D 공간에서 작동하는 low-level 정책에 전달했으나, 이는 깊이 정보가 없어 기하학적 왜곡을 유발했다. 3D HAMSTER는 이 문제를 해결하기 위해 VLM에 depth encoder를 추가하고, dense depth reconstruction objective를 도입하여 3D 웨이포인트 시퀀스를 직접 예측한다. 이는 low-level 정책과 직접 통합되어 정확한 3D 경로를 생성한다. 핵심 통찰은 3D 공간에서 작동하는 low-level 정책과 일치하는 3D 경로를 계획 단계에서 생성함으로써 전체 시스템의 정확도와 일반화 능력을 향상시킬 수 있다는 점이다.

기술적 접근법

**VLM 확장**: VLM에 전용 depth encoder 추가.
**Dense Depth Reconstruction Objective**: 3D 웨이포인트 예측을 위한 loss 함수.
**Pointcloud-based Low-Level Policy**: 3D 웨이포인트를 직접 입력으로 사용.
**Dataset**: DroidSpatial-Bench (148개 pick-and-place 에피소드), Colosseum (14개 perturbation axis), 실제 로봇 실험 (3개 task family).
**평가 지표**: δ ∈ {5, 10} cm 내 정확도, 성공률, 연속 점수 (0~1).

주요 결과

**DroidSpatial-Bench**: 3D 웨이포인트 예측에서 2D 기반 베이스라인 대비 +10~20% 정확도 향상.
**Colosseum**: 11개 태스크에서 25 에피소드당 평균 성공률 +15% 개선.
**실제 로봇 실험**: 언어, 시각, 공간 조건 변화에서 0.2~0.3 점의 성능 향상 (점수 범위 0~1).
**가장 큰 성능 향상**: 언어/시각/공간 변화 조건에서 2D 기반 모델 대비 +20% 이상.

의의 및 한계

3D HAMSTER는 3D 공간에서 작동하는 low-level 정책과 일치하는 3D 경로를 계획 단계에서 생성함으로써 기하학적 왜곡을 줄이고, 실제 환경에서의 일반화 능력을 향상시킨다. 이는 로봇 조작 분야에서 중요한 기술적 진전이며, 특히 언어, 시각, 공간 변화에 강한 모델 개발에 기여한다. 그러나, depth encoder의 성능이 전체 시스템에 큰 영향을 미치므로, depth estimation의 정확도 향상이 필요하다. 또한, 다양한 로봇 하드웨어와의 호환성 검증이 추가 연구로 필요하다.

실용적 활용

3D HAMSTER는 물체 조작, 주전자 부어넣기, 버튼 누르기 등 실제 로봇 작업에 적용 가능하다. 특히, 언어 지시에 따른 다단계 작업 수행, 시각 변화가 있는 환경에서의 로봇 제어, 다양한 물체 높이와 배경 조건에 대응하는 로봇 시스템 개발에 유용하다.