OpenForgeRL: Train Harness-native Agents in Any Environment

Modern AI agents rely on elaborate inference harnesses such as Claude Code, Codex, and OpenClaw to drive multi-turn reasoning, tool use, and access to external systems. While powerful, these complex harnesses also make agents hard to train end-to-end with open infrastructure, whose SFT/RL stacks cannot natively express stateful, multi-process harness inference. To address this, we present OpenForgeRL, an open-source framework for training harness-based agents end-to-end in diverse environments. OpenForgeRL achieves this with a lightweight proxy that serves the harness's model calls while recording them as training data for a standard RL codebase (e.g., veRL), and a Kubernetes orchestrator that runs each rollout in its own remote container, together enabling training on any harness in any environment at scale. By decoupling training and inference, OpenForgeRL allows researchers to easily train, study, and improve agents directly in the real harnesses and environments they are deployed with. We validate our framework across diverse, complex harnesses and environments, spanning tool/claw-based agents and multimodal GUI browser- and computer-use agents. Using only hundreds to a few thousand tasks, OpenForgeClaw reaches 31.7 pass^3 and 55.9 pass@3 on ClawEval and 33.7 on QwenClawBench. OpenForgeGUI reaches 37.7 on OSWorld-Verified, 63.0 on Online-Mind2Web, and 72.3 on WebVoyager. Both outperform open baselines of similar size on nearly all benchmarks, and in the GUI setting match or surpass models several times larger. Beyond benchmarks, we analyze how harness choice (e.g., ZeroClaw, OpenClaw, Codex) and RL shape agent behavior. We find that some harnesses are substantially harder to learn than others, and that RL improves agentic reliability, such as self-verification, tool coverage, and completing multi-step plans, though critical abilities such as error recovery remain weak.

한 줄 요약

OpenForgeRL은 다양한 환경에서 하네스 기반 에이전트를 end-to-end로 학습할 수 있는 오픈소스 프레임워크로, 31.7 pass³ 등 여러 벤치마크에서 기존 모델을 능가한다.

핵심 기여도

OpenForgeRL 프레임워크를 제안하여, **하네스 기반 에이전트**를 **end-to-end로 학습**할 수 있도록 함.
**Kubernetes 오케스트레이터**와 **proxy 기반 추적 기술**을 통해, **ZeroClaw, OpenClaw, Codex** 등 다양한 하네스와 **GUI 환경**에서 학습 가능.
**OpenForge-Claw**는 ClawEval에서 31.7 pass³, QwenClawBench에서 33.7, **OpenForge-GUI**는 OSWorld-Verified에서 37.7, WebVoyager에서 72.3 달성.
**SFT+RL** 학습이 **self-verification, tool coverage, multi-step plan** 수행 능력을 향상시키는 것을 실증.

핵심 아이디어

기존 하네스는 복잡한 상태 전이와 멀티프로세스 인퍼런스를 요구하므로, 오픈 인프라에서 end-to-end 학습이 어려웠다. OpenForgeRL은 이 문제를 해결하기 위해 **proxy 기반 추적**과 **Kubernetes 기반 컨테이너 오케스트레이션**을 결합했다. Proxy는 하네스의 모델 호출을 추적하며 RL 학습 데이터로 변환하고, Kubernetes는 각 rollout을 별도의 컨테이너에서 실행하여 **하나의 하네스 × 여러 환경** 학습을 가능하게 한다. 이는 기존 RL 스택이 처리하지 못했던 **stateful, multi-process 인퍼런스**를 학습에 통합하는 핵심 아이디어이다.

기술적 접근법

**Proxy 모듈**: 하네스의 모델 호출을 추적하고, 이를 RL 학습 데이터로 변환.
**Kubernetes Orchestrator**: 각 rollout을 별도의 컨테이너에서 실행하여 **Microsoft Azure** 등 클라우드 환경에서 확장 가능하게 함.
**SFT+RL 학습**: SFT로 초기화한 후, RL을 통해 **self-verification, tool coverage, multi-step plan** 수행 능력을 향상.
**지원 환경**: ZeroClaw, OpenClaw, Codex, Kimi-Agent, Molmo-Web 등 다양한 하네스와 GUI 환경에서 학습 가능.

주요 결과

**OpenForge-Claw**: ClawEval에서 31.7 pass³, QwenClawBench에서 33.7, MCPAtlas에서 28.1 달성.
**OpenForge-GUI**: OSWorld-Verified에서 37.7, Online-Mind2Web에서 63.0, WebVoyager에서 72.3 달성.
**SFT+RL vs. SFT**: OpenForge-Claw(SFT+RL)은 ClawEval pass³에서 +12.3%, QwenClawBench pass@1에서 +15.2% 개선.
**GUI 환경**: 2.5k task만으로 MolmoWeb(200k task)를 능가.

의의 및 한계

OpenForgeRL은 기존 오픈 인프라가 처리하지 못했던 **stateful, multi-process 인퍼런스**를 학습에 통합함으로써, 하네스 기반 에이전트 연구를 대규모로 가능하게 한다. 특히, **하나의 하네스 × 여러 환경** 학습이 가능해져, 실제 배포 환경에서의 성능 향상이 기대된다. 그러나 **error recovery**와 같은 핵심 능력은 여전히 약하며, **하나의 하네스가 다른 하네스보다 훨씬 학습이 어려운 경우**가 있어, 하네스 선택의 중요성이 강조된다.

실용적 활용

OpenForgeRL은 **툴 사용, 브라우저 조작, GUI 환경**에서의 에이전트 학습에 적용 가능하다. 특히, **Codex, OpenClaw, ZeroClaw** 등 다양한 하네스를 기반으로 한 에이전트 개발, **SFT+RL 기반의 실용적 에이전트 최적화**, **복합적인 멀티모달 환경 학습**에 유용하게 활용될 수 있다.