GeneralVLA-2: Geometry-Aware Reconstruction and Governed Memory for Robot Planning

Generalist vision-language-action systems need object-centric 3D evidence and reusable manipulation experience to plan reliable robot trajectories. GeneralVLA provides a hierarchical interface for converting language and RGB-D observations into 3D end-effector paths, but two bottlenecks remain. First, monocular SAM3D-style object reconstruction can hallucinate pose and unseen geometry, while manipulation benefits from stable object shape when calibrated multi-view observations are available. Second, the original KnowledgeBank mainly retrieves semantically similar snippets and appends new knowledge, which makes it difficult to control memory quality, conflicts, confidence, and geometric relevance. To address the first challenge, we introduce GeoFuse-MV3D, a geometry-prior-guided MV-SAM3D reconstruction branch that verifies external geometry cues with input-view masks, applies soft visual-hull support, performs axis-wise refinement, and fuses only geometry while preserving appearance. To address the second challenge, we upgrade KnowledgeBank into a governed long-term memory system with explicit quality, confidence, lifecycle, verifier, and conflict metadata, together with precision-oriented retrieval. Finally, we evaluate the reconstruction branch on GSO-30 and the memory module on Terminal-Bench 2.0 and SWE-Bench Verified; GeoFuse-MV3D improves over the MV-SAM3D baseline by reducing CD and LPIPS by 2.20% and 2.02% while increasing PSNR and SSIM by 2.36% and 1.03%, and KnowledgeBank improves over ReasoningBank by 4.53% on Terminal-Bench SR and 3.73% on SWE-Bench resolve rate, while reducing AS by 4.95% and 5.65%, respectively. Code: https://github.com/AIGeeksGroup/GeneralVLA-2. Website: https://aigeeksgroup.github.io/GeneralVLA-2.

한 줄 요약

GeneralVLA-2는 GeoFuse-MV3D와 governed KnowledgeBank를 통해 3D 객체 재구성 및 로봇 경로 계획의 정확도를 향상시킨다.

핵심 기여도

GeoFuse-MV3D는 입력 마스크를 기반으로 기하학적 신뢰도를 검증하며, 기존 MV-SAM3D 대비 CD 2.20%, LPIPS 2.02% 감소.
governed KnowledgeBank는 메타데이터 기반의 정밀 검색을 도입하여 Terminal-Bench SR 4.53%, SWE-Bench resolve rate 3.73% 향상.
AS(추가 스텝)는 각각 4.95%, 5.65% 감소.
PSNR 2.36%, SSIM 1.03% 증가하며 재구성 품질 향상.

핵심 아이디어

기존의 monocular SAM3D는 3D 객체의 자세와 기하학적 정보를 착각할 수 있으며, 이는 로봇 조작의 신뢰도를 저하시킨다. GeneralVLA-2는 GeoFuse-MV3D를 통해 입력 뷰 마스크와 외부 기하학적 힌트를 비교하여 정확한 기하학적 재구성을 실현한다. 또한, KnowledgeBank는 단순히 의미 유사성만 기반으로 정보를 저장하는 방식 대신, 품질, 신뢰도, 충돌, 사용 주기를 포함한 메타데이터를 도입하여 메모리 관리의 정확도를 높인다. 이는 로봇이 과거 경험을 보다 신뢰성 있게 재사용할 수 있도록 한다.

기술적 접근법

**GeoFuse-MV3D**:
입력 뷰 마스크와 외부 기하학적 힌트를 비교하여 기하학적 신뢰도 검증.
soft visual-hull support와 axis-wise refinement를 적용.
기하학만 융합하면서 외관 정보는 유지.
**governed KnowledgeBank**:
품질, 신뢰도, lifecycle, conflict, verifier 메타데이터를 포함.
정밀 검색을 통해 의미적 유사성에 의존하지 않고, 메모리 품질을 제어.
**실험 환경**:
GSO-30, Terminal-Bench 2.0, SWE-Bench Verified 데이터셋 사용.
PSNR, SSIM, CD, LPIPS, AS 등의 지표로 평가.

주요 결과

**GSO-30 데이터셋**: GeoFuse-MV3D는 MV-SAM3D 대비 CD 2.20%, LPIPS 2.02% 감소, PSNR 2.36%, SSIM 1.03% 증가.
**Terminal-Bench 2.0**: KnowledgeBank는 ReasoningBank 대비 SR 4.53% 향상, AS 4.95% 감소.
**SWE-Bench Verified**: resolve rate 3.73% 향상, AS 5.65% 감소.

의의 및 한계

GeneralVLA-2는 로봇 경로 계획 시 3D 객체의 정확한 기하학적 정보와 신뢰할 수 있는 기억을 제공함으로써 계획의 안정성을 높인다. 특히, GeoFuse-MV3D는 기존의 monocular 방식의 한계를 극복하고, governed KnowledgeBank는 경험 재사용의 질을 향상시킨다. 그러나 본 연구는 특정 환경(예: 정밀 칼리브레이션된 뷰)에서만 효과적일 수 있으며, 다양한 센서 입력을 처리하는 확장성은 명시되지 않음.

실용적 활용

GeneralVLA-2는 산업 로봇, 서비스 로봇, 자율 주행 시스템 등에서 객체 기반 경로 계획과 경험 재사용이 필요한 상황에 적용 가능하다. 특히, 정밀 조작이 요구되는 제조 분야나, 장기적인 환경 인식이 필요한 서비스 로봇 분야에서 유용할 수 있다.