Large-scale egocentric human interaction data is becoming an important source of physical supervision for embodied learning, yet video alone leaves the contact and pressure that characterize physical interaction unrecorded. Recent visual-tactile datasets provide this missing supervision, but their synchronized tactile data remain far smaller in volume than human video. Moreover, the largest resources often merge recordings from different sensors or annotation procedures, which makes the effect of data scale difficult to isolate. We therefore introduce TouchScale, a 500-hour dataset of contact-rich human interaction recorded with a single unified wearable setup. Its approximately 2K predefined task descriptions span everyday activities and structured manipulation, and each recording temporally aligns egocentric RGB-D video with wrist RGB video and dense full-hand bimanual tactile measurements. Compared with prior tactile data, training on the full TouchScale raises zero-shot contact IoU on data from an unseen tactile sensor from 0.134 to 0.383. Pretraining a visual encoder on TouchScale also yields the highest action recognition accuracy on three benchmarks among the compared visual-tactile datasets. Used for visual-tactile mid-training of a robot policy, TouchScale improves the average real-world success rate across four contact-rich manipulation tasks from 22.5% to 57.5%. With the sensor and collection protocol held fixed, both zero-shot tactile prediction and robot success show an overall upward trend as more TouchScale data is used. These results suggest that human visual-tactile data collected at scale with consistent sensing benefits both perception and robot manipulation. We will publicly release TouchScale, including all synchronized visual-tactile recordings and reconstructed object models, to support future research on scalable visual-tactile learning.
한 줄 요약
TouchScale는 500시간의 인간 시각-촉각 데이터를 기반으로, 로봇 제어 및 감각 학습 성능을 향상시키는 대규모 일관된 데이터셋이다.
핵심 기여도
- TouchScale은 500시간의 인간 시각-촉각 데이터를 기록한 대규모 데이터셋으로, 단일 웨어러블 장비를 사용하여 수집됨.
- TouchScale 기반 학습은 EgoTactile 데이터셋에서 zero-shot contact IoU를 0.134에서 0.383으로 향상시킴.
- 로봇 정책의 mid-training에 활용될 경우, 4개의 촉각 중심 조작 작업에서 성공률을 22.5%에서 57.5%로 향상.
- 데이터 규모가 증가함에 따라 zero-shot 예측 및 로봇 성공률 모두 상승 추세를 보임.
핵심 아이디어
기존 시각-촉각 데이터셋은 대부분 30시간 미만으로, 데이터 규모의 영향을 분석하기 어려웠다. 또한, 센서나 기록 프로토콜이 다를 경우 비교가 복잡해졌다. TouchScale은 이러한 문제를 해결하기 위해 단일 웨어러블 장비를 사용하여 500시간의 데이터를 일관된 방식으로 수집하였다. 이는 시각적(RGB-D), 손목 영상, 양손의 밀도 높은 촉각 측정을 포함하며, 2,000개의 작업 설명을 기반으로 다양한 상황에서 기록되었다. 이 데이터셋은 zero-shot 예측, 시각 표현 학습, 로봇 정책 훈련 등 다양한 실험 환경에서 활용 가능하다.
기술적 접근법
- **데이터 수집**: 단일 웨어러블 장비를 사용하여 egocentric RGB-D, wrist RGB, 양손의 full-hand tactile 데이터를 동기화하여 기록.
- **데이터셋 구성**: 약 2,000개의 작업 설명, 1,500개 이상의 물체, 9개의 고수준 설정, 800개 이상의 장면 구성.
- **모델 훈련**: EgoTactile 데이터셋에서 zero-shot contact IoU를 평가.
- **로봇 정책 훈련**: VTLA(Visual-Tactile Language Action) 정책에서 mid-training으로 활용.
- **훈련 데이터량 변화 실험**: TouchScale의 10%에서 100%까지 훈련 데이터량을 증가시키며 성능 변화 분석.
주요 결과
- **Zero-shot 예측**: EgoTactile에서 contact IoU가 0.134에서 0.383으로 향상됨.
- **시각 표현 학습**: 3개의 action recognition 벤치마크에서 가장 높은 정확도 달성.
- **로봇 성능 향상**: 4개의 촉각 중심 작업에서 성공률이 22.5%에서 57.5%로 증가.
- **데이터 규모 영향**: TouchScale 훈련 데이터가 10%에서 100%로 증가함에 따라, zero-shot cIoU는 0.311에서 0.383, 로봇 성공률은 30.0%에서 57.5%로 향상됨.
의의 및 한계
TouchScale은 시각-촉각 데이터의 규모와 일관성을 동시에 확보한 첫 데이터셋으로, 로봇 제어 및 감각 학습 분야에서 중요한 기초 자료가 될 수 있다. 특히, 데이터량 증가가 성능 향상에 긍정적인 영향을 미친다는 점은, 대규모 학습이 시각-촉각 분야에서도 효과적임을 입증한다. 그러나 현재 로봇 평가는 단일 플랫폼과 4개 작업에만 제한되어 있으며, 액션 라벨이 포함되지 않아 보다 광범위한 평가가 필요하다. 또한, future-tactile 예측과 액션 예측 오류 간의 연관성은 약한 것으로 나타나, 이 분야에 대한 추가 연구가 필요하다.
실용적 활용
TouchScale은 로봇이 물체와의 촉각 상호작용을 학습하는 데 활용될 수 있으며, 특히 조립, 물체 이동, 조작 등 촉각이 중요한 작업에서 유용하다. 또한, 인간의 시각-촉각 데이터를 기반으로 한 시각 표현 학습은 액션 인식, 로봇 정책 훈련 등 다양한 응용 분야에 기여할 수 있다.