WorldReward: Reward Modeling for Camera-Conditioned World Models
Yibin Wang, Zehan Wang, Junshu Tang, Zhimin Li, Yujie Zhou, Jiazi Bu, Pengyang Ling, Feng Han, Zhixiong Zhang, Long Xing, Shengyuan Ding, Ziang Li, Cheng Jin, Yuhang Zang, Jiaqi Wang, Tianyu Pang
arXiv:2609.03952 · 2026-09-06 공개 · arXiv · PDF
video-generation world-models reward-modeling vision-language-model rl-post-training preference-learning visual-quality action-consistency
Abstract
Camera-conditioned world models generate interactive videos in which commanded actions should induce the expected scene changes while appearance, geometry, and temporal dynamics remain coherent. Existing rewards assess these requirements separately: geometry-based rewards estimate trajectory execution but cannot judge the visual quality of the executed motion, whereas image-based rewards measure frame quality without capturing action execution or temporal dynamics. We posit that a vision-language model (VLM) offers a shared reasoning space for relating actions to their visual outcomes. However, judging a complete long video against its full action sequence creates a lengthy, noisy context in which short-lived local action evidence can be missed or diluted. We present WorldReward, a VLM-based pairwise preference reward model that unifies action-consistency and visual-quality evaluation for camera-conditioned world models. WorldReward decomposes paired videos into action-aligned chunks, organizes each chunk into structured visual evidence, and aggregates chunk-level decisions by voting into separate video-level action and visual-quality preferences. To train it, we construct a large-scale reasoning-augmented preference dataset using structured judgments generated by a frontier VLM and refined through tool-based agent auditing and targeted human review. We further introduce WorldReward-Bench, a human-annotated benchmark measuring reward-model agreement with human preferences across action consistency, appearance quality, and motion quality. WorldReward achieves the highest agreement on all three dimensions, exceeding GPT-5.5 by 3.42, 1.45, and 3.56 percentage points, respectively. When used for RL post-training of HY-WorldPlay 1.5, it consistently improves both action execution and visual quality across short- to long-term horizons.
한국어 요약
한 줄 요약
WorldReward는 카메라 조건에 따른 월드 모델의 행동 일관성과 시각 품질을 통합 평가하는 VLM 기반 이진 선호 보상 모델이다.
핵심 기여도
- WorldReward는 행동-비디오 쌍을 행동-정렬된 청크로 분할하고, 구조화된 시각 증거를 기반으로 청크별 판단을 집계하여 통합 평가를 수행한다.
- 대규모 추론 증강 선호 데이터셋을 구축하여 WorldReward를 훈련시켰으며, 이는 Gemini 3.1 Pro와 GPT-5.5를 활용한 다단계 생성과 인공 감수를 포함한다.
- WorldReward-Bench라는 인간 주석된 벤치마크를 제시하여, 행동 일관성, 외관 품질, 운동 품질 세 가지 차원에서 보상 모델과 인간 선호도의 일치도를 측정한다.
- WorldReward는 WorldReward-Bench에서 GPT-5.5 대비 3.42, 1.45, 3.56%p 높은 일치도를 달성한다.
핵심 아이디어
기존 보상 모델은 행동 일관성과 시각 품질을 별도로 평가하여 통합성이 부족하다. 예를 들어, 기하학 기반 보상은 궤적 일관성을 평가하지만 시각 품질은 무시하고, 이미지 기반 보상은 프레임 품질을 평가하지만 행동 실행이나 시간적 동역학을 고려하지 않는다. WorldReward는 이러한 문제를 해결하기 위해 단일 VLM을 사용하여 행동-비디오 쌍을 행동-정렬된 청크로 분할하고, 각 청크 내에서 구조화된 시각 증거를 생성하여 행동 일관성과 시각 품질을 동시에 평가한다. 이는 단일 모델이 동일한 프레임 집합을 해석하면서 시간적 일관성, 생성 품질, 아티팩트/구조 무결성을 동시에 평가할 수 있게 한다. 청크별 판단을 투표 방식으로 집계함으로써 단일 강한/약한 구간이 전체 비디오 평가에 지나치게 영향을 미치는 것을 방지한다.
기술적 접근법
- **WorldReward 구조**: 행동-비디오 쌍을 4개의 연속 행동으로 구성된 청크로 분할하고, 각 청크를 구조화된 시각 증거로 구성한다.
- **구조화된 입력**: 출처 이미지, 캡션, 시작-중간-종료 프레임 그리드, 행동별 패널을 포함한 입력을 통해 VLM이 행동과 시각 변화를 비교할 수 있도록 한다.
- **청크별 평가**: 각 청크에서 행동 일관성과 시각 품질을 평가하고, 투표를 통해 전체 비디오 수준의 선호도를 도출한다.
- **훈련 데이터**: WorldReward는 Gemini 3.1 Pro에서 추출한 청크 수준 추론을 기반으로 생성된 대규모 데이터셋을 사용하여 훈련되며, GPT-5.5 기반 에이전트 감사와 인공 감수를 통해 정제된다.
- **하이퍼파라미터**: 청크 크기(4개의 연속 행동), 투표 기반 집계 방식, 구조화된 입력 구성 요소(출처 이미지, 프레임 그리드, 행동별 패널)가 명시된다.
주요 결과
- WorldReward는 WorldReward-Bench에서 GPT-5.5 대비 행동 일관성에서 3.42%p, 외관 품질에서 1.45%p, 운동 품질에서 3.56%p 높은 일치도를 달성한다.
- HY-WorldPlay 1.5 모델에 WorldReward를 강화 학습 후 훈련에 적용하면, 단기에서 장기 시간 범위에 걸쳐 행동 실행과 시각 품질이 일관되게 개선된다.
- 구조화된 입력 요소(출처 이미지, 프레임 그리드, 행동별 패널)를 제거하면 인간 선호도와의 일치도가 감소하며, 구조화된 추론 감독은 일치도를 높인다.
의의 및 한계
WorldReward는 행동 일관성과 시각 품질을 단일 VLM을 통해 통합 평가함으로써 기존 보상 모델의 분리된 평가 방식의 한계를 극복한다. 구조화된 입력과 청크 기반 평가 방식은 단일 행동 증거를 효과적으로 포착하고, 투표 기반 집계는 전체 비디오 평가의 신뢰성을 높인다. 또한, WorldReward-Bench는 보상 모델의 인간 선호도와의 일치도를 정량적으로 평가할 수 있는 기준을 제공한다. 그러나 WorldReward는 특정한 VLM(예: Gemini 3.1 Pro, GPT-5.5)에 의존하며, 다른 VLM 환경에서의 일반화 가능성은 명시되지 않음. 또한, 훈련 데이터셋의 생성 과정에서 사용된 에이전트 감사와 인공 감수는 대규모 자원을 요구할 수 있다.
실용적 활용
WorldReward는 카메라 조건에 따른 월드 모델의 강화 학습 후 훈련에 활용되어, 장기 시간 범위에 걸친 행동 실행과 시각 품질을 동시에 개선할 수 있다. 이는 게임, VR, 시뮬레이션 등 실시간 상호작용이 필요한 산업 분야에서 유용하게 활용될 수 있다. 또한, WorldReward-Bench는 보상 모델 개발 및 평가에 있어 인간 선호도와의 일치도를 측정하는 표준 도구로 활용될 수 있다.