WebAnything: From the Wild Web to Scalable Agent Environments

Web agents require diverse, executable, and resettable website environments for reproducible training and evaluation. Human-assisted mirrors demand per-site engineering, while generative construction can diverge from specified real websites. Capture-and-replay preserves observations, with interaction coverage constrained by captured content and replay capabilities. We present WebAnything, a fully automated framework that reconstructs source-grounded, reusable Web environments from real URLs without per-site manual implementation or repair after initial setup and authorization. An Explorer-Builder collects browser-observable structures, resources, and interaction outcomes; an independent verifier checks frozen candidates and guides local repair or targeted source recapture. We construct 244 website artifacts across 14 application domains and 53 categories, supporting 12,984 executed and accepted tasks. Compared with human-assisted WebHarbor, WebAnything achieves higher aggregate scores on three fidelity metrics, with 12 wins, two ties, and no losses in a blind audit. Fine-tuning Qwen3.5-9B on 5,856 interaction trajectories improves REAL success by 9.9 percentage points, Odysseys-Easy Rubric Avg and Task Avg by 6.25 and 6.32 percentage points, and WebArena-Verified Overall success by 13.33 percentage points under the fixed harness. Code: https://github.com/china-qijizhifeng/Web-Anything

한 줄 요약

WebAnything은 실제 웹사이트를 기반으로 자동화된, 재사용 가능한 웹 에이전트 환경을 생성하는 프레임워크로, 244개 웹사이트 아티팩트와 12,984개 작업을 지원하며 Qwen3.5-9B 모델 성능을 9.9%포인트 개선한다.

핵심 기여도

Explorer-Builder 모듈을 통해 브라우저 관찰 가능한 구조, 리소스, 상호작용 결과를 수집하고, 자동화된 재구성을 수행.
독립적인 Verifier 모듈이 재구성된 환경을 소스와 비교하여 오류를 탐지하고, 로컬 수정 또는 추가 소스 캡처를 유도.
14개 도메인, 53개 범주에 걸쳐 244개 웹사이트 아티팩트를 생성, 12,984개 작업을 실행 및 수용.
WebHarbor 대비 3개 신뢰도 지표에서 12승 2무 0패 기록. Qwen3.5-9B 모델의 REAL 성공률을 9.9%포인트, WebArena-Verified 전체 성공률을 13.33%포인트 향상.

핵심 아이디어

기존 웹 에이전트 환경 생성 방식은 자동화와 소스 신뢰도, 상호작용 범위 간의 트레이드오프를 요구한다. WebAnything은 브라우저에서 관찰 가능한 구조와 상호작용을 기반으로, **Explorer-Builder**와 **Independent Verifier**를 결합하여 자동화된 소스 기반 환경을 구축한다. Explorer-Builder는 실제 웹사이트의 구조, 리소스, 상호작용 결과를 수집하고, 이를 기반으로 실행 가능한 로컬 환경을 재구성한다. Verifier는 재구성된 환경을 독립적으로 검증하며, 오류가 발생하면 로컬 수정 또는 추가 캡처를 유도한다. 이는 **Source-Grounding Gap**과 **Verification and Feedback Gap**이라는 두 가지 핵심 기술적 도전 과제를 해결한다.

기술적 접근법

**Explorer-Builder**: 브라우저에서 관찰 가능한 페이지 구조, 리소스, 상호작용 전후의 상태를 수집하여 실행 가능한 로컬 루트와 상태 전이를 구현.
**Independent Verifier**: 재구성된 환경을 소스와 비교하며, 오류를 탐지하고, 로컬 수정 또는 추가 캡처를 유도.
**Fixed initial states, reset mechanisms, task evaluators**: 반복 가능한 상호작용과 트래젝토리 수집을 지원.
**5,856개 상호작용 트래젝토리**를 기반으로 Qwen3.5-9B 모델을 fine-tuning하여 성능 향상.

주요 결과

**WebHarbor 대비 3개 신뢰도 지표에서 12승 2무 0패** 기록.
**REAL 성공률 9.9%포인트**, **Odysseys-Easy Rubric Avg 6.25%포인트**, **Task Avg 6.32%포인트**, **WebArena-Verified 전체 성공률 13.33%포인트** 향상.
**244개 웹사이트 아티팩트**, **12,984개 실행 및 수용 작업**.
**39쌍의 22개 사이트에서 증거 기반 차이점** 식별, **6개 사이트에서 18개 이슈 기록 독립적으로 재검증**.

의의 및 한계

WebAnything은 웹 에이전트 환경 생성의 자동화와 소스 신뢰도, 상호작용 범위를 동시에 달성하는 첫 사례로, **14개 도메인, 53개 범주에 걸친 244개 웹사이트 아티팩트**를 통해 실용적 유틸리티를 입증한다. 또한, **Qwen3.5-9B 모델의 성능 향상**은 생성 환경의 학습 효과를 입증한다. 그러나 **개별 사이트의 백엔드 접근 불가 문제**로 인해 일부 구조와 동작은 완벽히 재현되지 않을 수 있으며, **증거가 부족한 경우 추가 캡처가 필요**하다는 한계가 있다.

실용적 활용

WebAnything은 웹 에이전트 연구, 웹 기반 자동화 시스템 개발, 웹 환경 기반 학습 데이터 수집에 적용 가능하다. 특히, **소스 기반 재구성과 독립 검증 기능**은 웹 에이전트의 신뢰성과 반복성 테스트를 강화하며, **최소한의 수작업 없이 대규모 환경을 생성**할 수 있어 산업적 활용성이 높다.