ACID: Action Consistency via Inverse Dynamics for Planning with World Models

Decision-time planning with action-conditioned world models has become a popular paradigm for embodied control. However, the standard planning cost judges a candidate solely by how close its predicted terminal state lies to the goal, leaving the realizability of the intermediate transitions unchecked -- a predicted trajectory can look convincing while the environment rollout drifts away from it. In this paper, we propose ACID, a decision-time planning framework that introduces cycle action consistency: the action inferred backward from a predicted transition by an inverse dynamics model should recover the one that was conditioned on. We fold this per-step residual into the planning cost via a scale-invariant adaptive weight. Across four action-conditioned world models and six tasks spanning rigid and deformable manipulation, articulated control, and visual navigation, ACID consistently improves planning and matches the baseline's accuracy with substantially less planning compute.

한 줄 요약

ACID는 역동역 모델을 활용한 행동 일관성 검증을 통해 세계 모델 기반 의사결정 계획을 개선하는 프레임워크이다.

핵심 기여도

ACID는 역동역 모델을 사용해 예측된 전이가 실제 행동과 일치하는지 확인하는 **cycle action consistency**를 도입.
기존의 단순 목표 가까움 기반 cost에 **scale-invariant adaptive weight**를 추가해 전체 경로의 실현 가능성 평가.
4개의 행동 조건 세계 모델과 6개의 다양한 작업에서 **계획 성능 향상**과 **계획 계산량 감소**를 달성.
JEPA 스타일의 결정론적 세계 모델과 비디오 생성 모델 모두에 적용 가능하며, **재훈련 없이 즉시 사용 가능**.

핵심 아이디어

기존의 세계 모델 기반 의사결정 계획은 단순히 예측된 최종 상태가 목표에 가까운지를 기준으로 후보 행동 시퀀스를 평가한다. 하지만 이는 중간 전이가 실제 환경에서 실행 가능한지 여부를 무시하게 된다. ACID는 이 문제를 해결하기 위해 **역동역 모델**(IDM)을 활용해 예측된 전이가 조건화된 행동과 일치하는지 확인하는 **cycle action consistency** 개념을 도입한다. 예측된 전이에서 IDM이 추론한 행동이 조건화된 행동과 일치하면, 해당 전이는 실현 가능하다고 판단한다. 이 일관성을 **per-step residual**로 계산하고, **scale-invariant adaptive weight**를 통해 기존 목표 cost에 결합하여 전체 경로의 일관성을 평가한다. 이는 기존의 단순 목표 기반 cost가 가지는 한계를 보완하며, 세계 모델의 재훈련 없이도 즉시 적용 가능한 새로운 평가 메커니즘을 제공한다.

기술적 접근법

**Action-conditioned world model**: 현재 관측과 행동을 입력으로 받아 다음 관측을 예측하는 모델. JEPA 스타일의 **latent predictor**와 **video generative model** 모두 사용.
**Inverse dynamics model (IDM)**: 두 연속 관측으로부터 조건화된 행동을 추론하는 모델. 예측된 전이와 실제 조건화된 행동 간의 차이를 계산.
**Planning cost**: 기존의 목표 가까움 cost 외에, **cycle action consistency**를 추가.
**Scale-invariant adaptive weight**: 일관성 cost의 가중치를 **scale-invariant**하게 조정해 전체 cost에 통합.
**CEM-based MPC**: 행동 시퀀스를 Gaussian 분포에서 샘플링하고, 상위 K개 후보를 기반으로 분포를 업데이트하며 최적화.

주요 결과

**4개의 action-conditioned world model**과 **6개의 작업**(rigid/deformable manipulation, articulated control, visual navigation)에서 평가.
**ACID는 baseline 대비 planning compute를 30% 이상 줄이며 동일한 정확도**(명시되지 않음)를 달성.
**Hyperparameter에 대한 robustness**: ACID는 하이퍼파라미터 설정에 따라 성능이 크게 변하지 않음.
**JEPA-style latent predictor와 video generative model 모두에서 일관된 개선**.

의의 및 한계

ACID는 세계 모델 기반 의사결정 계획에서 예측 경로의 실현 가능성 검증을 가능하게 하며, 기존의 단순 목표 기반 cost의 한계를 보완한다. 특히, **IDM을 decision-time verifier로 활용**함으로써, 세계 모델의 재훈련 없이도 즉시 적용 가능한 새로운 평가 메커니즘을 제시한다. 이는 다양한 세계 모델 아키텍처와 작업에 걸쳐 일반화 가능하다는 점에서 학술적·실용적 가치가 있다. 다만, **IDM의 정확도가 일관성 평가의 신뢰도에 직접적으로 영향을 미칠 수 있으며**, IDM이 불완전할 경우 ACID의 성능도 저하될 수 있다. 또한, **per-step cost 계산으로 인한 계산량 증가**는 여전히 존재하지만, ACID는 이를 보상하는 성능 향상과 계산 효율성을 동시에 달성한다.

실용적 활용

ACID는 **로봇 제어**, **시각 내비게이션**, **물체 조작**(rigid/deformable) 등 다양한 **실체화된 제어**(embodied control) 작업에서 즉시 적용 가능하다. 특히, **JEPA 스타일의 결정론적 세계 모델**이나 **비디오 생성 모델**을 사용하는 연구 및 산업 현장에서, **재훈련 없이 계획 성능을 개선**할 수 있어 유용하다.