BadWAM: When World-Action Models Dream Right but Act Wrong

World-action models (WAMs) are emerging as a promising foundation for embodied control: rather than predicting actions alone, they learn representations that couple action generation with future world prediction. This coupling is often viewed as a source of robustness, interpretability, and safety, as a robot's action can in principle be checked against its imagined future. In this paper, we show that this assumption is fragile. We introduce BadWAM, a unified framework for modeling and evaluating World-Action Drift Attacks: a new class of WAM-specific adversarial attacks that use small visual perturbations to break the alignment between what a WAM imagines and what it executes. BadWAM characterizes this attack surface along two natural criteria: attack strength and stealthiness. When the adversary prioritizes disruption, BadWAM instantiates an action-only adversarial attack, which directly drives the model toward task-failing actions. When the adversary additionally prioritizes stealth, BadWAM instantiates an imagination-preserving adversarial attack, which seeks to induce harmful action shifts while keeping the model's predicted future close to its clean imagination. Together, these two attacks capture a spectrum of WAM-specific failures: from overt action hijacking to stealthier cases where the model appears to imagine a plausible future but executes a desynchronized action. We evaluate BadWAM across different variants of WAMs. Results show that our attacks substantially reduce task success rates under closed-loop execution. For example, our action-only attack reduces the model performance from 96.5% to 43.1% success. The results of our imagination-preserving attack further exposes a WAM-specific vulnerability: moderate future-preserving regularization can maintain strong attack performance while reducing future imagination drift.

한 줄 요약

BadWAM은 WAM 모델의 상상과 실행 사이의 비동기적 결함을 악용하는 새로운 적대적 공격 프레임워크로, 96.5%에서 43.1%로 성능을 급격히 저하시킬 수 있음을 보여준다.

핵심 기여도

**World-Action Drift Attack**이라는 새로운 WAM 특화 공격 범주를 제시.
**BadWAM**이라는 통합 프레임워크를 통해 **action-only**와 **imagination-preserving** 두 가지 공격 방식을 구현.
**LIBERO**와 **RoboTwin** 데이터셋에서 폐쇄 루프 실행 환경에서 96.5% → 43.1% 성능 저하를 실험적으로 입증.
**미래 예측 정확도는 유지되지만 실행 동작이 비동기화되는** WAM 고유 취약점을 분석.

핵심 아이디어

WAM(World-Action Models)은 동작 생성과 미래 예측을 결합하여 로봇 제어의 안정성과 해석성을 높이기 위해 설계되었다. 그러나 이 연구는 WAM의 핵심 가정, 즉 "미래 상상을 통해 동작을 검증할 수 있다"는 것이 취약하다는 점을 밝힌다. 연구팀은 **BadWAM**이라는 프레임워크를 통해, **작은 시각적 퍼트urbation**을 통해 WAM의 상상과 실행 사이의 일치성을 파괴하는 **World-Action Drift Attack**을 제안한다. 이 공격은 두 가지 형태로 구현된다:
1. **Action-only adversarial attack**: 실행 실패를 극대화하는 공격.
2. **Imagination-preserving adversarial attack**: 미래 상상을 유지하면서도 실행 동작을 비동기화시키는 공격.

이 두 공격은 WAM의 미래 예측과 실행 사이의 **비동기적 결함**을 노출하며, 기존 적대적 공격과는 질적으로 다른 위험성을 제시한다.

기술적 접근법

**BadWAM**은 **black-box 접근**을 기반으로, WAM의 예측 및 동작 출력만을 이용해 공격을 생성.
**Action-only attack**은 **queryable model outputs**을 기반으로, **task-failing actions**을 유도.
**Imagination-preserving attack**은 **harmful action shifts**를 유도하면서도 **predicted future**가 **clean imagination**에 가깝게 유지되도록 최적화.
**Future-preserving regularization**을 사용해 **미래 예측의 드리프트를 줄이면서도 공격 성능을 유지**.
실험 환경: **LIBERO**, **RoboTwin** 데이터셋.
공격 파라미터: **bounded visual perturbations**.

주요 결과

**LIBERO** 데이터셋에서 **action-only attack**은 성공률을 **96.5% → 43.1%**로 감소.
**Imagination-preserving attack**은 **미래 예측의 드리프트를 최소화하면서도** 실행 실패를 유도.
실패 에피소드는 **action shifts가 크고**, **미래 상상의 변화는 제한적**.
**Future-based safety monitors**는 **imagination-preserving attack**에 대해 **과도한 신뢰**를 보일 수 있음.

의의 및 한계

BadWAM은 WAM의 핵심 기능인 **미래 상상과 실행의 일치성**이 **적대적 공격에 취약**하다는 점을 입증하며, **WAM 안전성 평가의 새로운 기준**을 제시한다. 특히, **미래 예측이 정확하더라도 실행 동작이 비동기화될 수 있음**을 보여, 기존 안전 메커니즘의 한계를 드러낸다.

한계로는, **공격이 특정 WAM 구조에만 적용되는지**, **더 복잡한 환경에서의 일반화 가능성**은 명시되지 않음. 또한, **방어 기법에 대한 심층 분석**도 제한적이다.

실용적 활용

BadWAM은 **로봇 제어 시스템의 보안 평가**, **WAM 기반 안전 모니터링 프로토콜 설계**, **적대적 공격에 대한 진단 프로세스**에 활용 가능하다. 특히, **미래 예측 기반 안전 메커니즘의 신뢰도 검증**에 중요한 도구로 활용될 수 있다.