Data Scaling Laws in Imitation Learning for Robotic Manipulation

Data scaling has revolutionized fields like natural language processing and computer vision, providing models with remarkable generalization capabilities. In this paper, we investigate whether similar data scaling laws exist in robotics, particularly in robotic manipulation, and whether appropriate data scaling can yield single-task robot policies that can be deployed zero-shot for any object within the same category in any environment. To this end, we conduct a comprehensive empirical study on data scaling in imitation learning. By collecting data across numerous environments and objects, we study how a policy's generalization performance changes with the number of training environments, objects, and demonstrations. Throughout our research, we collect over 40,000 demonstrations and execute more than 15,000 real-world robot rollouts under a rigorous evaluation protocol. Our findings reveal several intriguing results: the generalization performance of the policy follows a roughly power-law relationship with the number of environments and objects. The diversity of environments and objects is far more important than the absolute number of demonstrations; once the number of demonstrations per environment or object reaches a certain threshold, additional demonstrations have minimal effect. Based on these insights, we propose an efficient data collection strategy. With four data collectors working for one afternoon, we collect sufficient data to enable the policies for two tasks to achieve approximately 90% success rates in novel environments with unseen objects.

한 줄 요약

로봇 조작에서 데이터 확장 법칙을 규명하고, 환경과 객체 다양성에 따른 정책 일반화 성능을 실증적으로 분석한다.

핵심 기여도

정책의 일반화 성능이 환경 수와 객체 수에 따라 **거듭제곱 법칙**(power-law) 형태로 증가함을 밝힘.
**객체와 환경의 다양성**이 단순히 데이터 수보다 훨씬 중요함을 실증.
각 환경/객체당 50개의 시연만으로 90% 성공률 달성 가능함을 제시.
**4명의 데이터 수집자**가 1일 내 40,000개 이상의 시연을 수집하여 2개의 새로운 작업에서 90% 성공률 달성.

핵심 아이디어

기존 자연어 처리 및 컴퓨터 비전에서의 데이터 확장 법칙이 로봇 조작 분야에도 적용될 수 있는지 탐구하였다. 이 연구는 단일 작업 정책이 **zero-shot 방식**으로 새로운 환경과 객체에 일반화될 수 있는지에 초점을 맞춘다. 핵심 통찰은 **데이터 다양성**(diversity)이 단순히 데이터 양보다 훨씬 더 중요한 역할을 한다는 점이다. 특히, 환경과 객체의 수가 증가할수록 정책의 성능이 거듭제곱 법칙에 따라 향상되며, 이는 기존 로봇 학습에서 일반적으로 고려되지 않았던 요소이다.

본 연구는 **Diffusion Policy**를 사용하여 대규모 시연 데이터를 모델링하고, **DINOv2** 시각 인코더와 **Temporal Ensemble** 기법을 도입하여 정책 성능을 향상시켰다. 이는 정책이 시간적으로 일관된 동작을 수행하도록 도와주며, 특히 로봇 제어에서 중요한 공간적 추론 능력을 강화한다.

기술적 접근법

**데이터 수집**: UMI(Hand-held gripper)를 사용하여 40,000개 이상의 시연을 수집.
**정책 학습**: Diffusion Policy를 사용, CNN-based U-Net과 DDIM 추론 기법을 적용.
**시각 인코더**: DINOv2 ViT-Large/14를 사용하여 객체 경계와 장면 레이아웃 정보를 효과적으로 추출.
**Temporal Ensemble**: Overlapping action sequence를 예측하고, 지수 가중 평균을 통해 동작의 불연속성을 줄임.
**평가 프로토콜**: 15,000개 이상의 실제 로봇 rollout을 수행하여 정책의 일반화 성능을 평가.

주요 결과

**Pour Water** 및 **Mouse Arrangement** 작업에서, 32개 환경, 50개 시연당, 90% 성공률 달성.
환경 수와 객체 수가 증가할수록 성능이 **거듭제곱 법칙**에 따라 향상됨.
객체와 환경의 **다양성**이 단순히 데이터 수보다 훨씬 더 큰 영향을 미침.
각 환경/객체당 50개의 시연만으로도 90% 성공률 달성 가능.
4명의 데이터 수집자가 1일 내 40,000개 이상의 시연을 수집하여 2개 작업에서 90% 성공률 달성.

의의 및 한계

본 연구는 로봇 조작 분야에서 **데이터 확장 법칙**을 처음으로 실증적으로 규명한 것으로, 대규모 로봇 데이터셋 구축 전략에 중요한 실마리를 제공한다. 특히, **Diversity is all you need**라는 통찰은 기존 로봇 학습에서 데이터 수집 방식을 재고하도록 유도한다. 또한, **Diffusion Policy**와 **DINOv2**의 조합은 실제 환경에서의 정책 성능 향상에 기여한다.

그러나 본 연구는 **단일 작업**(single-task)에만 초점을 맞추었으며, **다중 작업**(multi-task) 또는 **작업 수준 일반화**(task-level generalization)는 아직 다루지 않았다. 또한, 환경의 질적 다양성(예: 조명, 배경)은 정량적으로 평가되지 않았으며, 이는 향후 연구 주제로 남는다.

실용적 활용

본 연구는 로봇 제조사와 연구소에서 **대규모 로봇 데이터셋**을 효율적으로 구축할 수 있는 전략을 제공한다. 특히, **UMI와 Diffusion Policy 기반 학습**은 저비용으로 높은 성능의 정책을 개발할 수 있는 실용적 접근법으로 활용될 수 있다. 또한, **DINOv2와 Temporal Ensemble 기법**은 실제 산업 환경에서의 로봇 제어 정확도 향상에 기여할 수 있다.