SoftVTBench: A Deformation-Aware Visuo-Tactile Dataset and Benchmark for Deformable-Object Manipulation

Physical interaction quality is central to deformable-object manipulation, yet most benchmarks evaluate task success alone. A policy may complete the task while allowing slip or causing excessive compression. A primary bottleneck is the absence of visuo-tactile datasets that pair policy-visible contact observations with independent physical ground truth over complete tasks. We introduce SoftVTBench, a visuo-tactile dataset for physical-interaction-aware deformable-object manipulation. It contains 4,000 expert demonstrations and more than 50 assets, including volumetric deformable objects and visually matched rigid twins. At 20 Hz, each episode synchronizes multi-view RGB, dual-finger tactile RGB and marker motion, proprioception, language, and binary and continuous gripper actions, alongside evaluator-only finite-element (FEM) states. Building upon this dataset, we establish a closed-loop benchmark that uses fixed object-specific calibration to define the Deformation-aware Success Rate (DSR), which counts a rollout as successful only when it completes the task and keeps peak normalized deformation within tolerance. Across Diffusion Policy, π_{0.5}, and FastWAM, all 12 in-distribution configurations contain successful rollouts that violate the deformation tolerance, accounting for 0.7--24% of each configuration's successes. Under distribution shift, visuo-tactile variants achieve higher task success in all six policy--suite comparisons and higher DSR in five, whereas their in-distribution benefits are mixed. These results show that making touch available does not by itself ensure effective multimodal fusion. SoftVTBench therefore provides a common visuo-tactile resource for studying not only whether a policy succeeds, but how it physically interacts with deformable objects and when touch improves that interaction.

한 줄 요약

SoftVTBench는 변형 가능 물체 조작의 물리적 상호작용을 평가하는 데 사용되는 시각-촉각 데이터셋 및 벤치마크로, 4,000개의 전문가 시연과 20Hz 동기화 데이터를 포함한다.

핵심 기여도

4,000개의 전문가 시연과 50개 이상의 자산(부피 변형 물체 및 시각 일치 강체 쌍)을 포함한 SoftVTBench 데이터셋 제시.
20Hz에서 RGB, 촉각, 마커 운동, 프로피오셉션, 언어, 이진 및 연속 그립퍼 동작, FEM 상태를 동기화.
Deformation-aware Success Rate (DSR) 지표 도입: 물리적 변형 내구성과 작업 완료를 동시에 만족하는 성공을 기준으로 평가.
12개의 in-distribution 설정 중 0.7–24%의 성공이 변형 허용 범위를 초과함을 밝혀 기존 평가의 한계를 드러냄.

핵심 아이디어

기존 벤치마크는 작업 성공 여부만 평가하며, 물리적 상호작용의 질을 고려하지 않는다. 예를 들어, 정책이 물체를 떨어뜨리지 않으면서도 과도한 압축을 유발할 수 있다. 이는 특히 식품, 의료 재료 등 변형에 민감한 물체 조작에서 문제가 된다. SoftVTBench는 이러한 문제를 해결하기 위해, 정책이 접근 가능한 시각-촉각 스트림과 평가자 전용 물리 상태 스트림을 동시에 기록하는 데이터셋을 제시한다. 촉각 정보는 정책이 어떻게 상호작용하는지를 알려주고, FEM 기반의 평가자 전용 상태는 그 상호작용이 물체에 어떤 영향을 미쳤는지를 평가하는 데 사용된다. 이는 기존 벤치마크가 제공하지 못한 ‘물리적 상호작용의 질’을 평가하는 기반을 제공한다.

기술적 접근법

**데이터 구성**: 4,000개의 전문가 시연, 50개 이상의 자산(부피 변형 물체, 강체 쌍), 20Hz 동기화 데이터.
**스트림 구조**: 정책이 접근 가능한 스트림(다중 뷰 RGB, 쌍지 촉각 RGB, 마커 운동, 프로피오셉션, 언어, 그립퍼 동작)과 평가자 전용 스트림(FEM 상태).
**평가 지표**: DSR (Deformation-aware Success Rate) — 작업 완료와 변형 내구성을 동시에 만족해야 성공으로 간주.
**FEM 기반 평가**: 물체를 부피 메시로 모델링하고, 그립터 닫힘 시 노드 이동을 기록해 변형량을 측정.
**정책 평가**: Diffusion Policy, π₀.₅, FastWAM 정책을 사용하여 in-distribution 및 out-of-distribution 설정에서 성능 비교.

주요 결과

**DSR 결과**: 12개의 in-distribution 설정 중 0.7–24%의 성공이 변형 허용 범위를 초과.
**OOD 성능**: 시각-촉각 변형이 6개 정책-스위트 비교에서 모두 더 높은 작업 성공률(TSR) 달성, 5개에서는 DSR도 높음.
**ID 성능**: 시각-촉각의 이점이 혼합적.
**정책 간 차이**: FastWAM은 TSR–DSR 격차가 작아 작업 성공과 변형 내구성이 잘 일치.
**촉각 융합 한계**: 촉각 정보 제공이 융합 효과를 보장하지 않음.

의의 및 한계

SoftVTBench는 물리적 상호작용의 질을 평가하는 데 필요한 시각-촉각 데이터와 평가 프레임워크를 제공하며, 정책이 어떻게 물체와 상호작용하는지를 분석하는 데 유용하다. 특히, DSR을 통해 작업 성공과 물리적 안전성을 동시에 평가할 수 있어, 기존 평가 체계의 한계를 보완한다. 그러나 촉각 정보를 효과적으로 융합하는 것은 여전히 열린 문제이며, 정책 간 성능 차이가 존재한다는 점에서 모델 개선이 필요하다. 또한, 데이터셋은 40개의 피크-플레이스 작업에만 제한되며, 더 다양한 작업 유형에 대한 확장이 필요하다.

실용적 활용

SoftVTBench는 식품, 의료, 소프트 패키징 등 변형에 민감한 물체 조작을 필요로 하는 산업에서 로봇 정책 개발과 평가에 활용될 수 있다. 또한, 촉각-시각 융합 기술의 진전을 측정하는 데 사용될 수 있으며, 정책이 물리적 상호작용의 질을 어떻게 반영하는지를 분석하는 연구에 기여할 수 있다.