Does Imitation Learning Preserve Temporal Robustness in Dexterous Manipulation? An Expert-Learner Comparison Across Task Execution Speeds

Dexterous manipulation policies learned by imitation are typically evaluated for robustness to variation in scenes, objects, or instructions, but their performance across task execution speeds is less often examined. This leaves open how much temporal robustness a learner retains relative to the expert it imitates. We compare an expert and learner under the same task conditions, initial-condition draws, and speedup factors. We instantiate the evaluation in ParcelStow, a contact-rich task in which the robot acquires, reorients, and inserts a parcel. The demonstrations span the speedup range for the manipulation phases after parcel acquisition. A scripted expert and an Action Chunking with Transformers (ACT) policy trained from the expert's demonstrations both achieve 100 percent task success at nominal speed. Their success rates diverge within the demonstrated range: at its maximum, expert success is 84 percent and ACT success is 53 percent. Two ACT policies with different parameter initializations show similar degradation, decreasing by 34 and 48 percentage points from nominal speed to the maximum demonstrated speed, compared with 16 points for the expert. Stage-level analysis shows that 35 of ACT's 47 failures at the maximum demonstrated speed are insertion misalignments. Under the relative-motion handoff, every ACT acquisition retains the parcel through reorientation and transfer in free space, but only 64 percent complete the overall task, compared with 95 percent after expert acquisition. Across all evaluated policies and speeds, none of the 414 acquisitions without force closure completes the task. Equal nominal task success therefore does not imply preservation of expert performance across execution speeds. Code, data, and evaluation scripts are available at https://github.com/coenwerem/parcelstow.

한 줄 요약

ACT 정책은 전문가와 동일한 성능을 보이지만, 다양한 실행 속도에서의 타임스케일 견고성은 전문가보다 현저히 낮다.

핵심 기여도

전문가와 ACT 정책의 ParcelStow 작업 성공률을 다양한 실행 속도에서 비교.
ACT 정책은 최대 속도에서 전문가 대비 31% 낮은 성공률(53% vs. 84%) 보임.
ACT 정책 실패의 74%가 삽입 단계에서의 정렬 오류로 발생.
모든 정책에서 포스 클로져 없이 수행된 작업은 0% 성공률을 보임.

핵심 아이디어

기존의 임의 학습 정책은 다양한 환경 변화에 대한 견고성을 평가받지만, 작업 실행 속도에 따른 성능 변화는 거의 다루어지지 않았다. 본 연구는 전문가와 ACT 정책이 동일한 작업 조건에서 다양한 속도로 수행되었을 때의 성능 차이를 분석함으로써, 임의 학습이 시간적 견고성을 얼마나 잘 전달하는지를 평가한다. ParcelStow 작업은 다층적이고 접촉이 많은 작업으로, 속도 변화에 민감한 실험 환경을 제공한다.

기술적 접근법

**ParcelStow** 작업에서 **Action Chunking with Transformers (ACT)** 정책을 전문가의 데모에서 학습.
**Speedup factors**를 조절하여 작업 속도를 변화시키며 실험.
**Stage-level analysis**를 통해 작업 단계별 실패 원인 파악.
**Force closure** 여부를 기준으로 실패 원인 분류.

주요 결과

**ParcelStow** 작업에서 ACT 정책과 전문가 모두 **100% 성공률**을 보임 (정상 속도).
최대 속도에서 ACT 성공률은 **53%**, 전문가는 **84%** (ACT 대비 -31%).
ACT 실패 중 **47건 중 35건**이 삽입 단계에서 발생.
ACT 정책의 성공률은 최대 속도에서 **34~48%포인트 감소**, 전문가는 **16%포인트 감소**.
**414건의 포스 클로져 없는 작업**은 **0% 성공률** 보임.

의의 및 한계

본 연구는 임의 학습 정책이 동일한 성능을 보이더라도, 시간적 변화에 대한 견고성은 전문가와 차이가 있음을 밝힘. 특히, ACT 정책은 빠른 속도에서 정렬 오류가 증가하며, 이는 정책의 시간 인식 능력 부족을 시사한다. 한계로는 실험 환경이 단일 작업(PARCELSTOW)에 국한되었으며, 다른 작업에서의 일반화 가능성은 추가 연구가 필요하다.

실용적 활용

이 연구는 로봇 조작 정책의 시간적 견고성을 평가하는 데 기여하며, 특히 빠른 작업 환경에서 정책 설계 시 고려사항을 제공한다. 산업 자동화, 특히 빠른 속도로 이루어지는 물류 작업에서 임의 학습 정책의 적용 시 한계를 인식하는 데 유용하다.