Weblica: Scalable and Reproducible Training Environments for Visual Web Agents

The web is complex, open-ended, and constantly changing, making it challenging to scale training data for visual web agents. Existing data collection attempts remain limited to offline trajectories for supervised fine-tuning or a handful of simulated environments for RL training, thus failing to capture web diversity. We propose Weblica (Web Replica), a framework for constructing reproducible and scalable web environments. Our framework leverages 1) HTTP-level caching to capture and replay stable visual states while preserving interactive behavior and 2) LLM-based environment synthesis grounded in real-world websites and core web navigation skills. Using this framework, we scale RL training to thousands of diverse environments and tasks. Our best model, Weblica-8B, outperforms open-weight baselines of similar size across multiple web navigation benchmarks while using fewer inference steps, scales favorably with additional test-time compute, and is competitive with API models.

📋 한 줄 요약

**[웹 에이전트/RL 환경]** 실제 웹사이트를 HTTP 캐싱과 LLM 환경 합성으로 수천 개의 재현 가능한 RL 환경으로 확장하고, 그 위에서 학습한 시각 웹 에이전트 Weblica-8B를 공개.

🎯 핵심 기여도

시각 웹 에이전트 학습용 재현 가능하고 확장 가능한 환경 프레임워크 Weblica 제안
HTTP 수준 캐싱으로 안정적인 시각 상태를 재생하면서 인터랙티브 동작 보존
실세계 웹사이트와 핵심 웹 내비게이션 스킬에 grounding된 LLM 기반 환경 합성
수천 개의 다양한 환경/과제로 RL 학습 확장
Weblica-8B 모델: 유사 크기 오픈 베이스라인을 다중 웹 내비게이션 벤치마크에서 능가, 추론 단계는 더 적게 사용, 테스트 타임 컴퓨트 스케일링·API 모델과의 경쟁력 확보

💡 핵심 아이디어

실제 웹은 너무 변동적이라 그대로 RL 환경으로 쓰기 어렵고, 기존 합성 환경은 너무 좁다. HTTP 응답을 캐싱해 "시각적으로 안정되지만 인터랙티브한" 복제 환경을 만든 뒤, LLM이 실제 웹 패턴을 기반으로 무수히 많은 변형 환경을 합성하면 다양성과 재현성을 동시에 확보할 수 있다.

🔬 기술적 접근법

**모델/방법론**: Weblica 프레임워크 — HTTP 캐시 기반 웹 복제(replay)와 LLM 기반 환경 합성을 결합한 RL 환경 생성기
**핵심 기법**: (1) HTTP-level caching: 시각 상태는 안정적으로 재생되면서도 인터랙션은 살아 있도록 캐시 설계, (2) LLM-based environment synthesis: 실제 웹사이트와 핵심 내비게이션 스킬에 grounding된 새로운 환경/과제 자동 생성, (3) 위 환경 위에서 RL 학습으로 Weblica-8B 시각 웹 에이전트 학습

📊 주요 결과

수천 개의 다양한 환경/과제로 RL 학습 스케일업
Weblica-8B가 유사 크기 오픈 베이스라인을 다중 웹 내비게이션 벤치마크에서 능가
더 적은 추론 단계로 더 좋은 성능 — 효율성 우위
테스트 타임 compute에 favorable scaling 확인, API 모델과 경쟁력 있는 성능

💭 의의 및 한계

**의의**: 시각 웹 에이전트 RL 학습의 가장 큰 병목인 "확장 가능하고 재현 가능한 환경"을 정면 해결해, 오픈 모델이 API 기반 에이전트와 경쟁할 수 있는 토대를 마련한다. **한계**: 캐싱된 HTTP 환경은 동적·실시간 데이터(예: 로그인 후 개인화, 실시간 가격) 재현에 한계가 있고, LLM 합성 환경의 자연스러움은 원본 데이터 분포에 의존한다.

🚀 실용적 활용

웹 자동화 에이전트(쇼핑, 예약, 정보 수집)의 사전 학습 환경
회귀 테스트가 가능한 웹 에이전트 평가 벤치마크 구축
기업 내부 웹 어플리케이션에 특화된 에이전트 학습 파이프라인