OmniTacTune: Policy-Agnostic Real-World RL for Tactile Residual Adaptation of Visual Policies

Visual policies learned from human videos, teleoperation, and robot demonstrations offer scalable motion priors, but often fail in contact-rich manipulation, where success significantly depends on local force and contact geometry. Tactile sensing provides these complementary signals, yet tactile data remain costly to collect and hard to generalize across sensors, robots, and tasks. We introduce OmniTacTune, a policy-agnostic real-world RL pipeline that adapts tactile feedback to pretrained visual policies through residual correction. OmniTacTune uses a two-stage design: it first bootstraps tactile-aware learning from autonomous base-policy rollouts, then learns a lightweight tactile residual policy through online interaction. Extensive experiments show that OmniTacTune generalizes across diverse contact-rich tasks, visual base policies, and tactile representations. Across four real-world contact-rich tasks, it improves visual base policies from 5-40% success to 85-100% within 40-80 minutes, demonstrating an efficient path for adapting tactile feedback to scalable visual robot policies. Project page: https://colinyu1.github.io/omnitactune-site/

한 줄 요약

OmniTacTune은 시각 정책에 터치 피드백을 잔차 보정으로 통합하는 정책-무관한 실제 세계 강화 학습 파이프라인으로, 40–80분 내 5–40% 성공률을 85–100%로 향상시킨다.

핵심 기여도

잔차 보정을 통해 사전 학습된 시각 정책에 터치 피드백을 통합하는 정책-무관한 실제 세계 RL 파이프라인(OmniTacTune) 제안.
2단계 구조: 1단계는 자율 정책 실행으로 터치 인코더 초기화, 2단계는 온라인 잔차 RL로 터치 정책 학습.
4개의 실제 세계 접촉 집약적 작업에서 5–40% 성공률을 85–100%로 40–80분 내 향상.
다양한 시각 정책, 터치 표현식, 작업에 걸쳐 일반화 가능성을 입증.

핵심 아이디어

OmniTacTune은 시각 정책이 제공하는 대규모 학습 데이터와 터치 피드백의 정확한 접촉 정보를 결합하는 새로운 접근법을 제시한다. 시각 정책은 작업의 전반적 구조를 학습하지만, 실제 접촉 시 성공 여부는 터치 정보에 크게 의존한다. 따라서 OmniTacTune은 잔차 정책을 통해 터치 피드백을 시각 정책에 추가적으로 적용하는 방식을 채택한다. 이는 시각 정책을 재학습하지 않고도 터치 정보를 활용할 수 있도록 하며, 실제 세계에서의 학습 효율성을 높인다.

기술적 접근법

**2단계 구조**:

1단계: 사전 학습된 시각 정책을 기반으로 자율 실행(rollout)을 통해 터치 인코더 초기화 및 리플레이 버퍼 생성.
2단계: 온라인 잔차 RL을 통해 터치 정책 학습.

**object-centric multi-sensory reward shaping**: 터치 피드백과 시각 정보를 결합하여 샘플 효율성과 안정성을 향상.
**flow-tactile critic**: 터치 정보와 시각 흐름을 결합한 비판자 모듈로, 터치 인코더와 비판자 초기화에 사용.
**사전 학습된 터치 인코더**: 다양한 작업과 접촉 조건에서 표현식 이동(shift)을 최소화하기 위해 미세 조정(fine-tuning).

주요 결과

**4개의 실제 세계 접촉 집약적 작업**에서 OmniTacTune은 40–80분의 온라인 학습을 통해 성공률을 5–40%에서 85–100%로 향상.
**시각 정책 간 호환성**: 다양한 시각 정책(예: human video 기반, robot demonstration 기반)에 걸쳐 일반화.
**터치 표현식 간 호환성**: 다양한 터치 센서와 표현식에 걸쳐 성능 유지.
**잔차 정책 성능**: 가벼운 잔차 정책으로도 터치 피드백을 효과적으로 통합.

의의 및 한계

OmniTacTune은 실제 세계에서 터치 피드백을 활용한 정책 학습을 위한 새로운 패러다임을 제시한다. 기존의 시뮬레이션-실제 전이(Sim2Real) 접근법과 달리, OmniTacTune은 터치 데이터를 직접 수집하고 학습하는 방식으로, 실제 세계에서의 학습 효율성을 높인다. 또한, 사전 학습된 시각 정책을 기반으로 하므로, 터치 데이터 수집 비용을 줄이고, 다양한 작업과 센서에 걸쳐 일반화 가능하다는 장점이 있다.

그러나, 실제 세계 RL의 일반적인 한계를 그대로 계승한다. 반복적인 접촉 집약적 상호작용은 하드웨어 손상과 수동 리셋(manual reset)을 요구하며, 특히 시각 기반 터치 센서가 취약할 경우 문제가 된다. 향후 연구에서는 안전하고 자동화된 학습 환경 구축과 더 나은 모션 프라이어(motion prior) 및 데이터 증강 기법(예: 월드 모델)이 필요하다.

실용적 활용

OmniTacTune은 제조, 로봇 수술, 물류 등 접촉 집약적 작업이 필요한 산업에서 즉각적으로 활용 가능하다. 특히, 대규모 시각 데이터로 학습된 정책에 터치 피드백을 추가적으로 적용하여, 실제 세계에서의 성능을 빠르게 향상시키는 데 유용하다. 또한, 다양한 터치 센서와 작업 환경에 걸쳐 일반화 가능하므로, 다양한 로봇 플랫폼에 쉽게 확장할 수 있다.