EnvACE: Internalizing Environment Dynamics via World Rehearsal for Agentic Reinforcement Learning

Training large language model agents for long-horizon tool use typically relies on interactions with real or synthesized executable environments, whose construction and verification are costly, or on external simulators that are difficult to ground. We introduce EnvACE, an agentic reinforcement learning method that replaces external environment interaction during training with world rehearsal. The policy alternates between acting and rehearsal: it first generates a tool call, then plays the role of the environment to produce the response induced by that action, and conditions subsequent decisions on the rehearsed response. Both roles are jointly optimized end-to-end using task-success rewards. Through world rehearsal, the policy internalizes the relationship between actions and their environment responses in its parameters, yielding an agent world model that directly supports decision making. Across BFCL-v4, tau^2-Bench, VitaBench, and FinMCP-Bench, EnvACE achieves strong and transferable performance, outperforming environment-scaling baselines in the overall evaluation. Controlled studies further show that world rehearsal consistently improves policy learning across model scales. At test time, the internalized world model enables private rehearsal before committed execution, yielding further gains under a moderate rehearsal budget without additional external interaction. Our findings establish world rehearsal as a new path toward scaling LLM agent training beyond the constraints of external environments. Our code is publicly available at https://github.com/Within-yao/EnvACE.

한 줄 요약

EnvACE는 외부 환경 없이 정책이 자체적으로 환경 응답을 생성하는 월드 리허설을 통해 강화 학습 에이전트를 학습하는 새로운 방법이다.

핵심 기여도

**월드 리허설**(world rehearsal)이라는 새로운 학습 프레임워크를 도입하여, 정책이 외부 환경 없이 자체적으로 환경 응답을 생성하고 학습한다.
**EnvACE** 정책은 실행과 리허설을 번갈아 수행하며, 두 역할을 GRPO를 사용해 end-to-end로 최적화한다.
**BFCL-v4, τ²-Bench, VitaBench, FinMCP-Bench**에서 기존 환경 기반 기준 모델보다 우수한 성능을 보인다.
**테스트 시 리허설**(private rehearsal)을 통해 외부 환경과의 추가 상호작용 없이 성능 향상을 이끌어낸다.

핵심 아이디어

EnvACE는 기존 에이전트 학습에서 일반적으로 외부 환경 또는 시뮬레이터에 의존하는 방식을 대체한다. 정책이 직접 환경 역할을 맡아, 자신의 행동이 유발할 환경 응답을 생성하고 이를 기반으로 다음 행동을 결정한다. 이는 정책이 환경 역학을 내재화하도록 유도한다.

기존 연구는 외부 환경에서의 상호작용 또는 별도 시뮬레이터를 통해 환경 응답을 얻었지만, 이는 복잡하고 비용이 많이 든다. EnvACE는 정책이 **acting**과 **rehearsal** 두 역할을 동시에 수행하도록 설계되어, **POMDP 기반의 환경 역학**(P)을 정책 파라미터에 직접 흡수한다. 이는 **월드 모델**(world model)을 정책 내부에 구축하는 방식으로, 외부 환경 없이도 학습이 가능하다는 점에서 혁신적이다.

기술적 접근법

**월드 리허설**(world rehearsal): 정책이 행동을 생성한 후, 그 행동이 유발할 환경 응답을 자체적으로 생성하고, 이를 기반으로 다음 행동을 결정한다.
**Role-wise GRPO**(Group Relative Policy Optimization): 정책의 acting과 rehearsal 두 역할을 별도의 baseline으로 최적화하면서, **end-to-end 방식**으로 학습한다.
**POMDP**(부분 관측 마르코프 결정 과정) 기반 환경 모델링: 상태 공간(S), 행동 공간(A), 관측 공간(O), 환경 역학(P), 보상 함수(R)를 정의하고, 정책은 이 역학을 내재화한다.
**Tool call과 observation 생성**: 정책이 툴을 호출하고, 그에 따른 응답을 생성하며, 이는 interaction history에 누적된다.
**Test-time scaling**: 테스트 시 정책이 여러 후보 행동을 리허설하고, 그 결과를 기억하여 최종 실행을 결정한다.

주요 결과

**BFCL-v4, τ²-Bench, VitaBench, FinMCP-Bench**에서 EnvACE는 기존 환경 기반 기준 모델보다 **전반적으로 우수한 성능**을 보인다.
**모델 규모**(model scale)에 관계없이 월드 리허설은 정책 학습을 일관되게 개선한다.
테스트 시 **moderate rehearsal budget**을 사용하면, 외부 환경과의 추가 상호작용 없이도 **성능 향상**이 관찰된다.
**Private rehearsal**을 통해 후보 행동의 결과를 예측하고, 실수를 피하며, 유용한 경험을 축적할 수 있다.

의의 및 한계

EnvACE는 외부 환경 없이도 LLM 에이전트를 학습할 수 있는 새로운 경로를 제시한다. 이는 **환경 생성 및 검증 비용을 줄이고**, **복잡한 시뮬레이터에 의존하지 않는 학습 프레임워크**를 구축할 수 있다는 점에서 학술적·실용적 가치가 있다. 또한, 정책이 자체적으로 환경 역학을 내재화함으로써 **더 일반화된 의사결정**이 가능해진다.

그러나, 월드 리허설은 정책이 생성하는 환경 응답의 **정확성**(accuracy)과 **일관성**(consistency)에 의존하므로, 이에 대한 오류나 불확실성은 성능에 영향을 줄 수 있다. 또한, 실제 환경과의 차이가 클 경우, **테스트 시 성능 저하**가 발생할 수 있다. 이는 추후 연구에서 보완해야 할 한계점이다.

실용적 활용

EnvACE는 **복잡한 환경 시뮬레이션이 어려운 산업**(예: 금융, 의료)에서 유용하게 사용될 수 있다. 특히, **실제 환경과의 상호작용이 제한적**이거나, **비용이 많이 드는 환경**에서 테스트 및 학습을 효율적으로 수행할 수 있다. 또한, **대규모 LLM 에이전트 개발** 과정에서 환경 생성 및 검증 비용을 줄이는 데 기여할 수 있다.