PhysisForcing: Physics Reinforced World Simulator for Robotic Manipulation

Video generation models have emerged as a promising paradigm for embodied world simulation. However, both general-domain video generators and robot-specific data fine-tuned models can still produce physically implausible manipulations, including discontinuous motion trajectories and inconsistent robot-object interactions, which limits their reliability as world simulators. Through extensive experiments, we find that such physical instability mainly arises from two factors: deformation of moving objects and implausible spatio-temporal correlations among interacting entities, particularly during contact. Building on this observation, we propose PhysisForcing, a scalable training framework that strengthens physical consistency by focusing supervision on physics-informative regions through joint optimization of pixel-level and semantic-level features. The framework consists of a pixel-level trajectory alignment loss, which supervises DiT features using reference point trajectories, and a semantic-level relational alignment loss, which aligns DiT features with inter-region relations extracted from a frozen video understanding encoder. Extensive experiments on R-Bench, PAI-Bench, and EZS-Bench show that PhysisForcing consistently improves embodied video generation over strong baselines, improving the Wan2.2-I2V-A14B and Cosmos3-Nano base models on R-Bench by 22.3\% and 9.2\% (7.1\% and 3.7\% over vanilla finetuning), with the Cosmos3-Nano variant attaining the best overall score. Beyond generation, as a world model under the WorldArena action-planner protocol it raises the closed-loop success rate from 16.0\% to 24.0\% and further improves downstream policy success, indicating that physically aligned video models yield stronger representations for robotic manipulation.

한 줄 요약

PhysisForcing는 로봇 조작 시뮬레이션의 물리적 일관성을 향상시키기 위해 화소 및 의미 수준의 일치 손실을 결합한 훈련 프레임워크이다.

핵심 기여도

물리적 일관성을 위해 화소 수준 트래젝토리 정렬 손실과 의미 수준 관계 정렬 손실을 결합한 PhysisForcing 프레임워크 제안.
Wan2.2-I2V-A14B와 Cosmos3-Nano 모델에서 R-Bench에서 각각 22.3%와 9.2% 개선 (베이스라인 대비).
WorldArena 프로토콜에서 닫힌 루프 성공률을 16.0%에서 24.0%로 향상.
로봇 정책 학습에서 평균 성공률을 68.2%에서 72.8%로 향상 (예: place_empty_cup 41.5% → 63.0%).

핵심 아이디어

기존 비디오 생성 모델은 로봇-객체 상호작용 시 물리적 일관성을 유지하지 못한다. 이는 주로 이동 객체의 변형과 상호작용 중 공간-시간적 상관관계의 불합리성에서 기인한다. PhysisForcing는 이러한 문제를 해결하기 위해 **물리적으로 중요한 영역**(로봇, 객체, 접촉점, 이동 영역)에 집중하는 계층적 일치 손실을 도입한다.

화소 수준에서는 **DiT 특징을 참조 점 트래젝토리로 정렬**하여 로컬 운동 일관성을 강화하고, 의미 수준에서는 **DiT 특징과 동결된 비디오 이해 인코더의 영역 간 관계를 정렬**하여 글로벌 상호작용 일관성을 보장한다. 이는 기존 방법에서 부족했던 지역적이고 계층적인 물리적 감독을 구현한다.

기술적 접근법

**Pixel-level Trajectory Alignment Loss**: DiT 특징을 참조 점 트래젝토리로 정렬하여 로컬 운동 일관성 강화.
**Semantic-level Relational Alignment Loss**: DiT 특징과 동결된 비디오 이해 인코더의 영역 간 관계를 정렬하여 글로벌 상호작용 일관성 보장.
**Physics-informative regions** 식별: 로봇, 객체, 접촉점, 이동 영역.
**DiT (Diffusion Transformer)** 기반 비디오 생성 모델 활용.
**Wan2.2-I2V-A14B**, **Cosmos3-Nano** 등 다양한 스케일의 디퓨전 비디오 백본에서 실험.

주요 결과

**R-Bench**: Wan2.2-I2V-A14B 기반 모델에서 22.3% 개선, Cosmos3-Nano 기반 모델에서 9.2% 개선.
**WorldArena**: 닫힌 루프 성공률 16.0% → 24.0% 향상.
**Fast-WAM 정책 학습**: 평균 성공률 68.2% → 72.8% 향상 (place_empty_cup 41.5% → 63.0%, press_stapler 49.0% → 60.0%).
**PF-Cosmos**: R-Bench, PAI-Bench, EZS-Bench에서 최고 종합 점수 달성.

의의 및 한계

PhysisForcing는 로봇 조작 시뮬레이션의 물리적 일관성을 향상시켜, **강화 학습 및 정책 학습**에서의 신뢰도를 높인다. 특히, **로컬 운동과 글로벌 상호작용**을 동시에 고려하는 계층적 접근법은 기존 방법에서 부족했던 점을 보완한다. 그러나, **물리적으로 중요한 영역의 정확한 식별**이 성능에 큰 영향을 미치며, **복잡한 환경에서의 일반화 능력**은 추가 연구가 필요하다.

실용적 활용

PhysisForcing는 **로봇 정책 학습**, **실내 환경 시뮬레이션**, **로봇 제어 시스템 개발** 등에 적용 가능하다. 특히, **접촉이 많은 조작 작업**(예: 컵 배치, 스테이플러 누름)에서 물리적 일관성을 유지하면서 정확한 시뮬레이션을 제공할 수 있다.