WebWorld: The Browser as a World Model for Self-Improving Web Code

VLM-driven self-improvement of web code has a structural flaw: the model that proposes the repair is the model that judges it, and visual plausibility under that judge is a poor proxy for whether the page actually works. What the loop is missing is a counterparty the VLM cannot fool, and the browser already is that counterparty: a deterministic, executable simulator of how an HTML artifact behaves under user actions, and in everything but name a world model for web code. We present WebWorld, the interface that lets a VLM prior interact with this browser-as-world-model autonomously and decides which interactions become supervision. Each round, the VLM emits a critique that the planner compiles into a typed interaction contract; the browser re-executes the candidate and issues an acceptance certificate only when both target progress and preservation of every previously verified capability hold; certified transitions accumulate as a quality ratchet that is the only thing the SFT export ever sees. Under matched training, WebWorld-27B improves Raw-27B by 5.3 points on HTMLBench-400 and 14.9 points on MiniAppBench-Val, and reaches the level of strong frontier systems such as Kimi-K2.6 and GPT-5.4 on interactive HTML generation. Equal-size ablations show that browser-backed admission carries the gain: without the certificate, the matched 9B lift nearly disappears.

한 줄 요약

WebWorld는 브라우저를 월드 모델로 활용해 VLM 기반 웹 코드 자기 개선의 신뢰성을 높이는 인터페이스를 제시한다.

핵심 기여도

브라우저를 월드 모델로 활용하여 VLM이 스스로 판단하는 구조의 한계를 극복.
`typed interaction contract`, `acceptance certificate`, `quality ratchet` 세 가지 모듈로 VLM과 브라우저 간 신뢰성 있는 상호작용 구축.
WebWorld-27B는 HTMLBench-400에서 5.3점, MiniAppBench-Val에서 14.9점 개선하며 Kimi-K2.6, GPT-5.4 수준 성능 달성.
9B 버전의 실험적 제거(ablation)를 통해 브라우저 기반 인증이 성능 향상의 핵심 요인임을 입증.

핵심 아이디어

VLM 기반 웹 코드 자기 개선의 핵심 문제는 제안자와 판단자가 동일하다는 점이다. VLM은 시각적 유사성에 기반해 수정을 판단하지만, 이는 실제 동작 여부와는 동떨어진 기준이다. WebWorld는 이 문제를 해결하기 위해 브라우저를 월드 모델로 활용한다. 브라우저는 HTML 아티팩트가 사용자 입력에 어떻게 반응하는지를 결정적으로 시뮬레이션하는 실행 가능한 시스템이기 때문이다.

핵심 아이디어는 VLM이 수정을 제안하고, 브라우저가 이를 실행 후 `acceptance certificate`를 발급하는 구조를 도입하는 것이다. 이 과정에서 `target progress`와 `preservation of previously verified capability` 두 가지 조건을 모두 만족해야 수정이 승인된다. 이로 인해 VLM이 스스로 자신을 속이는 상황을 방지할 수 있다.

기술적 접근법

**VLM**: 수정을 제안하고, `typed interaction contract`를 생성.
**Planner**: VLM의 제안을 `target predicate`, `replay action`, `preserve set`, `evidence path`로 컴파일.
**Browser**: 수정 후의 HTML을 재실행하고, 조건을 만족하면 `acceptance certificate` 발급.
**Quality ratchet**: 인증된 전이(transition)만 SFT 학습에 사용.
**Dataset**: HTMLBench-400, MiniAppBench-Val.
**Model size**: WebWorld-27B, Raw-27B, Raw-9B.
**Hyperparameter**: 명시되지 않음.

주요 결과

WebWorld-27B는 HTMLBench-400에서 Raw-27B 대비 5.3점, MiniAppBench-Val에서 14.9점 개선.
Kimi-K2.6 및 GPT-5.4 수준의 성능 달성.
9B 버전 실험에서 `acceptance certificate`가 없을 경우 Raw-9B 대비 0.4점 개선에 그침.
브라우저 기반 인증이 없을 경우, 전체 성능 향상이 10배 이상 감소함을 보여줌.

의의 및 한계

WebWorld는 VLM 기반 웹 코드 자기 개선의 신뢰성을 높이는 구조적 접근법을 제시한다. 기존 방식에서는 VLM이 스스로 판단하므로 시각적 유사성에 기반한 잘못된 수정이 발생했으나, WebWorld는 브라우저를 월드 모델로 활용해 실행 가능한 증거를 기반으로 수정을 승인함으로써 이 문제를 해결한다. 이는 웹 개발 도구 및 자동화 테스트 분야에서 실용적 가치가 크다.

한계로는 브라우저 재실행 과정이 시간 소모적일 수 있으며, 모델 크기와 브라우저 연동 방식에 따라 확장성이 제한될 수 있다. 또한, `acceptance certificate`의 조건 설정이 복잡할 수 있으며, 이는 사용자 정의가 필요한 부분이다.

실용적 활용

WebWorld는 웹 개발 도구, 자동화 테스트 플랫폼, 코드 리팩토링 시스템 등에 적용 가능하다. 특히, 사용자 인터페이스 기반의 웹 애플리케이션 개발에서 VLM이 생성한 코드의 실행 가능성과 안정성을 보장하는 데 유용하다. 또한, 코드 품질 향상과 자동화된 테스트 프로세스 구축에 활용할 수 있다.