Wake up for Touch! Mask-isolated Tactile Alignment Learning in MLLMs

Touch supplies the physical grounding needed to perceive intrinsic material properties, such as friction and compliance, that vision alone often cannot resolve. Recent efforts for equipping multimodal LLMs with this tactile sense, however, expose a zero-sum trade-off: the limited parameter budget of compact models forces a choice between acquiring the new sensory modality and preserving the established vision-language reasoning. We present Splash, a mask-isolated tactile alignment learning framework for MLLMs. Splash quantifies the significance of each pretrained parameter, and partitions the parameter space into a dormant and critical subspace. While the frozen critical subspace acts as a stable anchor to safeguard general visual knowledge, Splash updates the isolated dormant subspace to internalize tactile alignment towards LLMs. This selective, non-destructive expansion effectively prevents catastrophic forgetting and ensures non-destructive modality expansion. Extensive experiments show that Splash effectively achieves tactile reasoning without additional inference overhead in the LLM part, demonstrating state-of-the-art performance on visuo-tactile benchmarks, including SSVTP, TVL, and TacQuad, while preserving its original general-purpose capabilities.

한 줄 요약

Splash는 소형 MLLM에 촉각 모달을 추가하면서 시각-언어 추론 능력을 유지하는 마스크-분리형 학습 프레임워크이다.

핵심 기여도

Splash는 시각-언어 학습 능력을 유지하면서 촉각 모달을 추가하는 마스크-분리 학습 프레임워크를 제안.
60%의 스파스니티 비율에서 촉각-세미antics 평균 점수 4.91 달성.
Qwen2.5-VL-3B, InternVL-1B 모델에서 SSVTP, TVL, TacQuad 벤치마크에서 최고 성능.
추가 추론 오버헤드 없이 단일 단계 학습을 통해 촉각 정보를 통합.

핵심 아이디어

기존 소형 MLLM에 새로운 촉각 모달을 추가하면 기존 시각-언어 학습 능력이 손상되는 문제를 해결하기 위해, Splash는 사전 학습된 파라미터의 중요도를 평가하여 **비중요(잠재적)** 파라미터와 **중요(결정적)** 파라미터를 분리한다. 중요한 파라미터는 고정 상태로 유지되며, 촉각 학습은 비중요 파라미터만 업데이트하여 이루어진다. 이는 **catastrophic forgetting**을 방지하고, 기존 시각-언어 추론 능력을 보존하는 동시에 새로운 촉각 정보를 학습할 수 있도록 한다.

이러한 접근은 **mask-guided adaptation**이라는 개념을 도입하여, 파라미터 공간 내에서 촉각 학습 영역을 **isolate**하고, **single-stage training**으로 촉각 front-end와 LLM 내부 파라미터를 동시에 최적화한다. 이는 별도의 fine-tuning이나 multi-stage 학습 없이도 가능하다.

기술적 접근법

**Splash**는 사전 학습된 파라미터의 중요도를 **visual-relative importance metric**을 사용해 평가.
파라미터 공간을 **dormant subspace** (비중요)와 **critical subspace** (중요)로 분할.
**critical subspace**는 고정 상태로 유지되어 시각-언어 학습 능력을 보존.
**dormant subspace**는 촉각 학습에 사용되며, 촉각 front-end와 함께 업데이트.
**mask-guided adaptation**을 통해 촉각 학습이 기존 파라미터에 영향을 주지 않도록 보장.
**single-stage training**으로 촉각 front-end와 LLM 내부 파라미터를 동시에 최적화.
**GPT-4o**를 사용한 텍스트 기반 평가와 **keyword-based F1 score**, **Top-5 Accuracy**를 사용한 객관적 평가 수행.

주요 결과

**SSVTP**, **TVL**, **TacQuad** 벤치마크에서 **Splash-3B**가 기존 7B-scale 모델을 초과하는 성능 달성.
**60% sparsity ratio**에서 촉각-세미antics 평균 점수 **4.91** 기록.
**InternVL-1B** 모델에서 **VL benchmark** (MMMUval, MathVista, MMBench) 성능 유지.
**128 calibration samples** 사용 시 최적의 성능-안정성-효율성 균형 달성.
**unpaired calibration data** 사용 시에도 경쟁력 있는 성능 유지.

의의 및 한계

Splash는 소형 MLLM에 새로운 촉각 모달을 추가하면서 기존 시각-언어 학습 능력을 유지하는 첫 번째 접근법으로, **zero-sum trade-off** 문제를 해결하는 데 기여한다. 특히, **mask-guided adaptation**을 통해 파라미터 공간을 분리하고, **single-stage training**을 통해 복잡한 학습 절차 없이도 촉각 정보를 통합할 수 있다는 점에서 학술적·실용적 가치가 있다.

하지만, **sparsity ratio** 설정이 성능에 큰 영향을 미치며, 너무 높거나 낮은 비율은 각각 **VL performance degradation** 또는 **tactile learning capacity limitation**을 초래할 수 있다. 또한, **calibration data**의 선택에 따라 성능이 달라질 수 있으나, **unpaired data**에서도 좋은 성능을 보이는 점은 모델의 일반화 능력이 높다는 것을 시사한다.

실용적 활용

Splash는 **자원 제약이 있는 edge 로봇**에 적용 가능하며, **촉각 정보를 기반으로 물체의 물성 판단**이나 **정밀한 조작**이 필요한 상황에서 유용하다. 특히, **Qwen2.5-VL-3B, InternVL-1B**와 같은 소형 MLLM에 적용하여 **추론 속도와 정확도를 동시에 유지**할 수 있는 실용적 솔루션이다.