DragMesh-2: Physically Plausible Dexterous Hand-Object Interaction with Articulated Objects

Dexterous interaction with articulated objects is important for household, assistive, and humanoid manipulation, where multi-finger hands can provide compliant contact patterns beyond parallel-jaw grasping. However, articulated-object manipulation differs from static-object manipulation: the target part cannot be directly actuated, and its motion must emerge through sustained physical hand--handle contact. This makes the transition from object-centric articulated generation to hand-driven dexterous hand--object interaction non-trivial, since geometric trajectory replay or open-loop execution does not model the contact dynamics required to move the articulated part. Moreover, policies trained only for task completion under fixed dynamics can overfit nominal contact loads, especially without tactile or force feedback, and may degrade when the contact load changes. To address these challenges, we present DragMesh-2, a contact-driven framework for dexterous interaction with articulated objects that extends articulated interaction from object-centric generation to hand-driven dexterous hand--object interaction, where articulated motion must arise through physical contact. We further propose PICA, a physically informed contact-aware training mechanism that injects physical signals into policy learning without tactile or force feedback, improving robustness and task success under changing contact loads. Finally, we conduct systematic evaluation across multiple damping conditions and articulated-object categories to study robustness under contact-load variation, and provide a pure-geometry dexterous interaction resource to support future loco-manipulation and humanoid hand--object interaction research. Across seven GAPartNet objects, DragMesh-2 achieves stronger robustness under contact-load variation than the compared methods while maintaining high task success across damping conditions.

한 줄 요약

DragMesh-2는 물리적 접촉을 기반으로 한 조인트 객체 조작을 위한 새로운 프레임워크로, PICA를 통해 접촉 조건 변화에 대한 내성을 향상시킨다.

핵심 기여도

DragMesh-2는 조인트 객체 조작을 물리적 접촉 기반의 다지 손-객체 상호작용으로 확장한 프레임워크.
PICA(PHysically Informed Contact-Aware) 학습 메커니즘을 제안, 텍스처/힘 피드백 없이 물리적 신호를 정책 학습에 주입.
GAPartNet의 7개 객체에서 댐핑 조건 변화에 강한 내성과 높은 작업 성공률 달성.
순수 기하학 기반의 다지 상호작용 데이터셋을 공개하여 향후 연구 지원.

핵심 아이디어

기존의 조인트 객체 조작 연구는 정적 객체 중심의 생성 기반 접근법에 머물렀으며, 실제 다지 손-객체 상호작용을 고려하지 못했다. DragMesh-2는 조인트 객체가 직접 제어되지 않고, 물리적 접촉을 통해 운동이 발생해야 한다는 사실을 반영한 프레임워크로, 정책은 손만 제어하고 조인트에는 액션 채널이 없으며, 운동은 지속적인 손-조인트 접촉을 통해 유도된다. 이는 기하학적 트래젝토리 재생이나 오픈루프 실행이 접촉 역학을 모델링하지 못한다는 한계를 극복한다. PICA는 정책 학습에 접촉 유지, 탈착 위험, 댐핑 변화, 시간적 접촉 응답 등 물리적 신호를 주입하여 단일 역학 조건에 과적합되는 문제를 완화하고, 접촉 조건 변화에 대한 내성을 향상시킨다.

기술적 접근법

DragMesh-2는 다지 손-조인트 객체 상호작용을 접촉 기반으로 모델링.
PICA는 정책 학습에 다음과 같은 물리적 신호를 주입:
접촉 유지 및 탈착 위험
액션 경계 정규화
댐핑 변화
시간적 접촉 응답 모델링
GLA(GLA temporal encoder)를 사용한 시간적 접촉 응답 모델링을 통해 정책의 상태 표현을 개선.
학습 시 댐핑 변화를 랜덤화하여 정책의 내성을 훈련.
실험은 GAPartNet의 7개 객체(세 가지 카테고리, 두 가지 조인트 유형)에서 진행.
각 (메서드, 객체, 댐핑, 모드) 셀은 20개 에피소드로 구성.
확정적 실행은 가우시안 평균, 확률적 실행은 학습된 정책에서 샘플링.
댐핑 배율은 ×1, ×2, ×4로 설정하여 정상, 중간, OOD 조건 평가.

주요 결과

GAPartNet의 7개 객체에서 DragMesh-2는 비교 메서드 대비 접촉 조건 변화에 더 강한 내성을 보임.
댐핑 조건 변화에서도 높은 작업 성공률 유지.
PICA는 단일 역학 조건에 과적합되는 문제를 완화, 정책의 내성 향상.
접촉 유지율, 탈착 실패율 등 접촉 기반 진단 지표에서도 우수한 성능.

의의 및 한계

DragMesh-2는 조인트 객체 조작에서 물리적 접촉의 중요성을 강조하며, 기존 정책 학습의 한계(과적합, 단일 역학 조건 의존)를 극복한 점에서 학술적 의의가 있다. 또한, 순수 기하학 기반의 다지 상호작용 데이터셋을 공개하여 향후 로코-조작 및 인류형 손-객체 상호작용 연구에 기여한다. 그러나 텍스처/힘 피드백 없이 물리적 신호를 주입하는 방식은 실제 환경에서의 제한성을 가질 수 있으며, 더 복잡한 조인트 구조나 다중 접촉 상황에서의 일반화 가능성은 추가 연구가 필요하다.

실용적 활용

DragMesh-2는 가정용 로봇, 보조 기술, 인류형 로봇 등에서 조인트 객체 조작이 필요한 상황에 적용 가능하다. 특히, 텍스처/힘 센서 없이도 접촉 기반 내성을 확보할 수 있어, 센서 장착이 어려운 저비용 로봇 시스템에도 유용하게 활용될 수 있다.