TacForcing: Streaming Action Generation with Execution-Time Tactile Feedback

Contact-rich manipulation requires adapting to contact states that can evolve substantially within an action horizon. However, chunk-based vision-language-action models predict complete action chunks from observations collected before execution, leaving tactile conditioning stale during execution. Existing tactile-reactive approaches typically rely on separate high-frequency controllers, which increase both architectural and training complexity. In this paper, we introduce TacForcing, a streaming action-generation framework that effectively incorporates execution-time tactile feedback. Instead of employing a separate reactive controller, TacForcing replaces the standard action expert with a streaming action expert to generate actions conditioned on the evolving tactile observations acquired during execution. TacForcing also introduces Execution-Aware Tactile Attention (EATA), which restricts tactile conditioning to actions nearing execution, thereby reducing the temporal mismatch between tactile acquisition and action execution. Across six simulated UniVTAC tasks and three real-world contact-rich manipulation tasks, TacForcing achieves average success rates of 65% and 69%, respectively, outperforming strong baselines in both settings.

한 줄 요약

TacForcing는 실행 중 터치 피드백을 활용한 스트리밍 액션 생성 프레임워크로, 실시간 접촉 상태 변화에 대응한다.

핵심 기여도

**Streaming Action Expert** 도입으로 실행 중 터치 피드백을 활용한 액션 생성 구조 제시.
**Execution-Aware Tactile Attention (EATA)** 도입으로 터치와 액션 간 시간 차이를 최소화.
**UniVTAC 시뮬레이션** 6개, **실제 세계** 3개 태스크에서 평균 성공률 65%와 69% 달성.
기존 Fixed Tactile 대비 **실제 세계에서 38% 포인트 성공률 상승**.

핵심 아이디어

기존 VLA 모델은 실행 전에 수집된 터치 정보만을 기반으로 액션을 생성하여 실행 중 발생하는 접촉 상태 변화에 대응하지 못한다. TacForcing은 실행 중 터치 피드백을 반영하는 **Streaming Action Expert**를 도입하여, 액션을 블록 단위로 생성하고 실행 후 피드백을 반영해 다음 블록을 업데이트한다. 이는 고주파 컨트롤러 없이도 실시간 반응이 가능하게 한다. 또한, **EATA**를 통해 각 터치 업데이트가 실행 예정인 다음 블록에만 적용되도록 제한함으로써, 터치 정보와 액션 실행 사이의 시간 차이를 줄인다.

기술적 접근법

**Streaming Action Expert**: 액션을 블록 단위로 생성하며, 실행 후 피드백을 반영해 다음 블록을 업데이트.
**Execution-Aware Tactile Attention (EATA)**: 터치 정보가 실행 예정인 다음 블록에만 적용.
**UniVTAC 시뮬레이션**과 **실제 세계 태스크**에서 평가.
**하이퍼파라미터**: 블록 단위 실행, 중간 상태 저장 및 재사용.
**비교 대상**: Base, Fixed Tactile, TacForcing without EATA, TacForcing.

주요 결과

**UniVTAC 시뮬레이션**에서 **65% 평균 성공률** 달성.
**실제 세계 태스크**에서 **69% 평균 성공률** 달성.
Fixed Tactile 대비 **시뮬레이션 +18%, 실제 세계 +38% 포인트 성공률 상승**.
EATA 도입으로 **TacForcing without EATA 대비 시뮬레이션 +9%, 실제 세계 +21% 포인트 상승**.

의의 및 한계

TacForcing은 고주파 컨트롤러 없이도 실행 중 터치 피드백을 반영하는 새로운 프레임워크로, **접촉 상태 변화가 빠른 태스크에서 성능 향상**을 입증했다. 특히, EATA는 터치 정보와 액션 실행 사이의 시간 차이를 줄여 **실시간 반응 능력을 향상**시킨다. 그러나, **복잡한 환경에서의 일반화 가능성**이나 **장기 실행 시 터치 피드백 누적 오류**는 추가 연구가 필요하다. 또한, **실제 세계 실험 데이터셋의 제한성**도 한계로 지적된다.

실용적 활용

TacForcing은 **정밀 조립, 부품 삽입, 다exterous 조작** 등 접촉이 빈번한 산업 자동화 시스템에 적용 가능하다. 특히, **실시간 피드백이 필요한 로봇 조작**이나 **비전만으로는 감지 어려운 미세 접촉 상태**를 처리하는 데 유용하다. 연구적으로는 **VLA 모델의 실행 중 감각 피드백 통합**을 위한 기반으로 활용될 수 있다.