On Training in Imagination

State-of-the-art model-based reinforcement learning methods train policies on imagined rollouts. These rollouts are trajectories generated by a learned dynamics model and are scored by a learned reward model, but without querying the true environment during policy updates. We study this training paradigm by quantifying how errors in learned dynamics and reward models affect returns and policy optimization. First, we extend the analysis of Asadi et al. (2018) to MDPs with learned reward models, and derive the optimal sample allocation--the ratio of dynamics samples to reward samples that minimizes a bound on return error under power-law scaling assumptions. We identify lower Lipschitz constants of the learned dynamics, reward, and policy as a representation desideratum that tightens this bound, and we connect this perspective to the temporal-straightening objective of Wang et al. (2026). Second, we examine how policy optimization with REINFORCE tolerates noisy rewards, which are often cheaper to obtain. We show that zero-mean reward noise leaves the gradient estimator unbiased and adds at most a variance term that decreases with the number of rollouts. This introduces a practical tradeoff: given a fixed budget, should one buy more rollouts with cheaper but noisier rewards, or fewer rollouts with more expensive but less noisy rewards? We reduce this choice to a one-dimensional optimization problem and characterize the optimum.

📋 한 줄 요약

**[모델 기반 RL · 이론]** 상상 롤아웃에서 학습된 다이내믹스·보상 모델의 오차가 정책 최적화에 미치는 영향을 정량 분석하고, 다이내믹스/보상 샘플의 최적 배분과 REINFORCE의 잡음 보상 허용성을 1차원 최적화로 환원해 실용적 트레이드오프를 제시한다.

🎯 핵심 기여도

학습된 다이내믹스와 보상 모델 오차가 수익(return)과 정책 최적화에 미치는 영향을 정량적으로 분석
Asadi et al.(2018) 분석을 학습된 보상 모델 MDP로 확장
멱법칙 스케일링 가정 하에서 수익 오차 경계를 최소화하는 다이내믹스/보상 샘플 최적 배분 도출
REINFORCE가 영평균(zero-mean) 잡음 보상에 강건하다는 점을 분산 항으로 정량화하고 실용 트레이드오프를 1차원 최적화로 형식화

💡 핵심 아이디어

SOTA 모델 기반 RL은 학습된 모델로 만든 상상 롤아웃에서 정책을 학습한다. 이 과정의 다이내믹스 오차와 보상 오차가 어떻게 결합되어 정책 성능에 영향을 주는지 이론적으로 분석하면, 제한된 샘플 예산을 어디에 더 투입할지(다이내믹스 vs 보상, 깨끗하지만 비싼 vs 잡음 있지만 싼 보상)에 대한 원리적 답을 얻을 수 있다.

🔬 기술적 접근법

**모델/방법론**: 학습된 다이내믹스·보상 모델을 가진 MDP에서의 정책 최적화 오차 분석
**핵심 기법**: Asadi et al.(2018) 경계의 확장, 학습된 다이내믹스·보상·정책의 낮은 Lipschitz 상수가 경계를 더 빠듯하게 만든다는 표현 디지데라텀 도출, Wang et al.(2026)의 temporal-straightening과의 연결, REINFORCE 그라디언트 추정량이 영평균 잡음 보상에서 비편향이며 분산만 롤아웃 수에 따라 감소함을 증명

📊 주요 결과

멱법칙 스케일링 가정 하 다이내믹스 대 보상 샘플의 최적 비율 도출
영평균 잡음 보상에서 REINFORCE 그라디언트는 편향 없이 작동, 분산은 롤아웃 수 증가로 감소
"싸지만 잡음 있는 보상 다수 롤아웃" vs "비싸고 깨끗한 보상 소수 롤아웃" 선택을 1차원 최적화로 환원하고 최적점 특성화
낮은 Lipschitz 상수가 일반화 경계 강화에 유리함을 표현 desideratum으로 제시

💭 의의 및 한계

**의의**: 모델 기반 RL의 실용적 의사결정(샘플 배분·보상 품질 선택)을 정량 이론으로 정당화해, 임의적 휴리스틱을 원리적 가이드라인으로 대체한다. **한계**: 분석이 멱법칙 스케일링과 Lipschitz 가정 등 특정 이상화 조건에 의존하며, 잡음이 영평균을 벗어나거나 편향된 경우의 영향은 추가 분석이 필요하다.

🚀 실용적 활용

모델 기반 RL 학습 예산(다이내믹스 vs 보상 샘플) 최적 배분
잡음 있는 저비용 보상을 활용한 RLHF·시뮬레이션 학습 의사결정
표현 학습에서 Lipschitz 정규화의 이론적 정당화