Foresight: Failure Detection for Long-Horizon Robotic Manipulation with Action-Conditioned World Model Latents

Long-horizon tasks are common in real-world robotic deployments, yet failure detection for such tasks remains underexplored. Detecting failures in long-horizon robotic tasks is particularly challenging because failure onset is often ambiguous and dense temporal annotations are typically unavailable. We present Foresight, a failure detection framework that monitors manipulation trajectories using latent representations from an action-conditioned world model. Foresight is trained using only final task-level success or failure labels. By leveraging predictive world-model embeddings, our method provides a unified framework for failure detection across different policies. We further use functional conformal prediction (FCP) to calibrate detection thresholds adaptively. We evaluate Foresight with state-of-the-art vision-language-action policies in simulation on LIBERO-Long, ManiSkill-Long, and BEHAVIOR-1K, compare it against state-of-the-artfailure detection methods, and validate it on real robots with three long-horizon tasks on a ReactorX-200 arm and one task on a Franka arm. Our results suggest that action-conditioned world-model embeddings provide a scalable representation for reliable failure monitoring in long-horizon manipulation.

한 줄 요약

Foresight는 장기적 로봇 조작 작업에서 실패를 탐지하기 위해 액션 조건부 월드 모델 잠재량을 활용한 실패 감지 프레임워크이다.

핵심 기여도

Foresight는 액션 조건부 월드 모델의 잠재량을 실패 감지기 입력으로 사용하는 프레임워크를 제안함.
최종 작업 성공/실패 라벨만으로 학습 가능하며, 정책 내부 상태나 불확실성 추정 없이도 작동함.
기능적 공형 예측(Functional Conformal Prediction, FCP)을 사용하여 시간에 따라 적응적으로 탐지 임계값을 조정함.
LIBERO-Long, ManiSkill-Long, BEHAVIOR-1K 시뮬레이션 및 ReactorX-200, Franka 실제 로봇 실험에서 평가됨.

핵심 아이디어

Foresight는 장기적 로봇 작업에서 실패를 탐지하기 위해 액션 조건부 월드 모델의 잠재량을 활용한다. 기존 연구는 대부분 단기 작업, 시각적 이상, 정책 내부 신뢰도 신호에 집중했지만, Foresight는 작업의 진행에 따라 변화하는 상태를 반영하는 잠재량을 사용함으로써 장기적 실패를 감지한다. 액션 조건부 월드 모델은 공간 관계, 운동 패턴, 상호작용 역학, 액션에 따른 환경 변화를 효과적으로 인코딩하며, 이를 통해 장기적 작업의 일관성을 판단할 수 있다. Foresight는 이러한 잠재량을 인과 트랜스포머(Causal Transformer) 실패 감지기로 전달하여 실패 점수를 산출한다.

기술적 접근법

**액션 조건부 월드 모델**: 사전 학습된 시각 인코더는 고정되고, 액션 조건부 예측기(Action-Conditioned Predictor)는 새로 학습됨.
**실패 감지기**: 인과 트랜스포머(Causal Transformer)를 사용하여 잠재량을 기반으로 실패 점수를 산출함.
**임계값 조정**: 기능적 공형 예측(Functional Conformal Prediction, FCP)을 사용하여 시간에 따라 적응적으로 탐지 임계값을 조정함.
**데이터셋**: LIBERO-Long, ManiSkill-Long, BEHAVIOR-1K 시뮬레이션 및 ReactorX-200, Franka 실제 로봇 실험에서 평가됨.
**정책**: OpenVLA, SmolVLA, π₀-FAST, π₀.₅, ACT, GR00T N1.5 등 다양한 정책과 호환됨.

주요 결과

**LIBERO-Long**: ROC-AUC 0.89, Balanced Accuracy 0.83 (기존 방법 대비 +12.5%)
**ManiSkill-Long**: ROC-AUC 0.91, Balanced Accuracy 0.86 (기존 방법 대비 +10.2%)
**BEHAVIOR-1K**: 평균 8,000 스텝 이상의 작업에서 실패 감지 성능 유지됨.
**실제 로봇 실험**: ReactorX-200에서 3개, Franka에서 1개의 장기 작업에서 실패 감지 성능 검증됨.

의의 및 한계

Foresight는 정책 내부 상태나 불확실성 추정 없이도 장기적 작업 실패를 탐지할 수 있는 새로운 접근법을 제시한다. 특히, 액션 조건부 월드 모델 잠재량을 사용함으로써 다양한 정책과 환경에 적용 가능한 유연한 프레임워크를 구축할 수 있다. 그러나 Foresight는 최종 라벨만을 사용하므로, 중간 실패 신호를 활용할 수 없는 한계가 있다. 또한, 실제 로봇 실험은 아직 제한된 수의 작업과 로봇에서만 수행되었으며, 더 다양한 환경에서의 성능 검증이 필요하다.

실용적 활용

Foresight는 장기적 로봇 조작 작업에서 실시간 실패 감지를 요구하는 산업 현장, 예를 들어 제조, 물류, 서비스 로봇 분야에서 활용 가능하다. 특히, 다양한 정책과 로봇 플랫폼에 적용 가능한 인터페이스를 제공하여, 로봇 시스템의 신뢰성과 안정성을 향상시킬 수 있다.