Binding Touch to Everything: Learning Unified Multimodal Tactile Representations

Touch provides crucial information about the physical properties of the objects around us. Creating models that capture cross-modal associations between touch and other modalities, however, remains a challenging problem, due to wide variety of touch sensors and the intensive effort required to collect tactile data. We propose UniTouch, a unified model for vision-based touch sensors that connects their tactile signals to other modalities, including vision, language, and sound. We achieve this by aligning our tactile embeddings to pretrained image embeddings already associated with a variety of other modalities. We further propose learnable sensor-specific tokens, allowing the model to learn from a set of heterogeneous tactile sensors, all at the same time. UniTouch is capable of conducting various touch sensing tasks in a zero-shot setting, from robot grasping prediction to touch-based question answering. To the best of our knowledge, UniTouch is the first model to demonstrate these capabilities. Project Page: https://cfeng16.github.io/UniTouch/.

한 줄 요약

UniTouch는 다양한 시각 기반 촉각 센서를 통합하여 시각, 언어, 소리 등 다른 모달리티와 연결하는 통합된 촉각 표현 모델이다.

핵심 기여도

**Contrastive learning 기반의 촉각-시각 정렬**: 사전 학습된 이미지 임베딩(예: CLIP)과 촉각 임베딩을 정렬하여 다중 모달리티 간 연결성을 구축.
**Learnable sensor-specific tokens 도입**: 다양한 촉각 센서의 차이를 학습 가능 토큰으로 모델링하여 센서 간의 이질성을 동시에 학습.
**Zero-shot 환경에서 다양한 촉각 태스크 수행**: 로봇 그립 예측, 촉각 기반 질의 응답, 터치-이미지 생성 등 5가지 이상의 태스크에서 성능을 보여.
**최초의 통합 촉각 표현 모델**: 기존 연구보다 훨씬 넓은 범위의 촉각-다중 모달리티 연계를 제시.

핵심 아이디어

기존 촉각 모델은 특정 센서에 제한되어 있었으며, 다양한 센서 간의 차이를 통합적으로 학습하는 방법이 부족했다. UniTouch는 이러한 문제를 해결하기 위해 **contrastive learning**을 사용하여 촉각 임베딩을 이미 사전 학습된 이미지-언어 임베딩 공간(예: CLIP)과 정렬함으로써, 촉각이 시각, 언어, 소리 등 다른 모달리티와 자연스럽게 연결될 수 있도록 했다. 또한, **learnable sensor-specific tokens**을 도입하여 각 센서의 고유한 특성(예: calibration, intensity profile)을 모델링함으로써, 여러 센서의 데이터를 동시에 학습할 수 있도록 했다. 이는 기존 연구에서는 별도의 모델이 필요했던 문제를 하나의 모델로 해결할 수 있게 만든다.

기술적 접근법

**Contrastive visuo-tactile pretraining**: 촉각 신호와 시각 신호를 대조 학습을 통해 정렬.
**Touch encoder design**: 다양한 센서의 촉각 신호를 처리할 수 있도록 설계된 인코더.
**Learnable sensor-specific tokens**: 각 센서의 고유한 특성을 학습 가능한 토큰으로 모델링.
**Downstream task 적용**: 촉각-이미지 생성, 촉각 질의 응답, X-to-touch 생성 등 다양한 태스크에 적용 가능.
**사전 학습된 모델 활용**: CLIP, 텍스트-이미지 diffusion 모델 등 기존 모델과 결합하여 활용.

주요 결과

**Zero-shot 촉각 이해 태스크**: 촉각 기반 재질 인식, 로봇 그립 안정성 예측 등에서 기존 방법 대비 우수한 성능.
**Cross-modal retrieval**: 촉각-시각, 촉각-언어 간 검색 성능 향상.
**Touch-to-image generation**: 촉각 신호를 기반으로 이미지 생성 성능 향상.
**Touch-LLM**: 촉각 정보를 기반으로 질의 응답 태스크 수행.
**X-to-touch generation**: 시각, 텍스트, 오디오 입력으로 촉각 이미지 생성 가능.

의의 및 한계

UniTouch는 촉각을 기존의 다중 모달리티(시각, 언어, 소리)와 통합적으로 연결하는 데 중요한 기여를 하였다. 특히, 다양한 센서를 동시에 학습하는 기법은 기존 연구에서 별도의 모델이 필요했던 문제를 해결하며, 촉각 기반의 다양한 태스크를 zero-shot 환경에서도 수행할 수 있게 했다. 그러나, 촉각 데이터 수집이 여전히 어려운 점과 센서 간의 이질성 문제는 여전히 남아 있으며, 더 넓은 범위의 센서와 태스크에 대한 평가가 필요하다. 또한, 모델이 실제 로봇 시스템에 적용될 때의 실시간 성능도 추가 연구 주제이다.

실용적 활용

UniTouch는 로봇 조작, 재질 인식, 보조 기술, 촉각 기반 UI 개발 등 다양한 산업 분야에서 활용될 수 있다. 특히, 로봇이 다양한 센서를 사용하면서도 통일된 촉각 표현을 학습할 수 있어, 실제 환경에서의 적용성이 높다. 또한, 촉각 정보를 기반으로 이미지 생성이나 질의 응답을 수행하는 기술은 가상 현실(VR), 증강 현실(AR) 등에서도 활용 가능하다.