Right Screen, Wrong Transition: World Models as Verifiers for GUI Agents

A login screen that appears after a tap on Sign in is expected; the same screen after a tap on View order is an attack. For GUI agents, safety is therefore a property of the transition rather than of the screen, and a monitor that inspects only screens can be defeated by reusing a legitimate one. Judging a transition requires an expectation of what should have followed the action. Existing GUI world models provide one, but they output it as text, code, or images, so checking it against the observed screen requires a second model to judge the two. We argue that a world model meant for verification should instead predict in the space in which observations are encoded, and present LGWM, a decoder-free, action-conditioned world model that predicts the representation of the next screen directly, trained without semantic annotation on 1.85M real GUI transitions. Verification reduces to a vector comparison, and the same signal reveals whether a mismatch is harmful. We evaluate on RSWT-BENCH, a diagnostic where each credential screen appears under both a legitimate and a hijacked transition, so detectors that see only the screen are at chance by construction. The training-free score reaches 0.987 AUC at 17 ms per decision, on par with the strongest closed-source VLMs and about ten AUC points above generative GUI world models at over three orders of magnitude lower latency. The residual direction reaches 0.953 AUC at separating harmful from benign violations, where prompted VLMs are near chance. Further analyses show that the prediction is a usable future state rather than an anomaly score. World models have mostly served as simulators or planners; our results point to a third role, verification, for which predicting in representation space is the natural design.

한 줄 요약

LGWM은 GUI 에이전트의 전이 무결성을 보장하기 위해, 디코더 없는 액션 조건부 월드 모델을 제안하며, 1.85M 개의 실제 GUI 전이 데이터로 학습하여 0.987 AUC 성능을 달성한다.

핵심 기여도

LGWM은 디코더 없는 액션 조건부 월드 모델로, 다음 화면의 표현을 직접 예측하여 벡터 비교로 검증 가능하게 함.
1.85M 개의 실제 GUI 전이 데이터로 학습하며, 세미안적 라벨 없이 훈련됨.
RSWT-Bench에서 0.987 AUC 성능을 17ms당 결정으로 달성, 기존 생성형 GUI 월드 모델 대비 10AUC 포인트 이상 우수.
잔차 방향으로 유해/무해 위반 구분, 0.953 AUC 달성.

핵심 아이디어

GUI 에이전트의 안전성은 화면이 아니라 **전이**(transition)의 무결성에 달려 있다. 기존 월드 모델은 텍스트, 코드, 이미지로 예측을 내보내므로, 예측과 실제 화면을 비교하기 위해 별도 모델이 필요하다. 이는 검증 과정을 복잡하게 만들고, 렌더링에 시간이 소요된다.
이에 반해, LGWM은 **표현 공간**(representation space)에서 예측을 직접 수행한다. 즉, 다음 화면의 잠재 표현을 예측하고, 이 표현과 실제 화면의 잠재 표현을 비교함으로써 **벡터 비교**로 검증을 수행한다. 이는 별도의 디코더나 판단 모델 없이도 가능하다.
LGWM은 액션 조건부로 학습되며, **변화 가중화 손실**(change-weighted objective)을 사용해 액션에 의해 변경된 부분에 집중한다. 잔차 벡터의 **크기**(magnitude)는 예측과 실제의 차이를, **방향**(direction)은 위험 여부를 나타낸다.

기술적 접근법

**LGWM**(Latent GUI World Model): 디코더 없는 액션 조건부 월드 모델.
**표현 공간 예측**: 다음 화면의 잠재 표현을 예측.
**공유 위치 기저**(shared positional basis): 터치 좌표와 시각 패치를 연결.
**변화 가중화 손실**(change-weighted objective): 액션에 의해 변경된 부분에 훈련 신호 집중.
**잔차 분석**: 예측과 관측의 잔차 벡터를 분석하여 위반 여부 및 유해성 판단.
**학습 데이터**: 1.85M 개의 실제 GUI 전이, 세미안적 라벨 없이 훈련.

주요 결과

**RSWT-Bench**에서 **0.987 AUC** 달성 (17ms당 결정), 기존 생성형 GUI 월드 모델(gWorld, Code2World) 대비 **10AUC 포인트 이상 우수**.
**잔차 방향 분석**에서 유해/무해 위반 구분: **0.953 AUC**.
**프롬프트된 VLM**(Gemini, GPT)은 유해/무해 구분에서 **랜덤 수준**(near chance) 성능.
**렌더링 없이** 예측 가능, 기존 생성형 모델 대비 **3자리 수 빠른 속도**.

의의 및 한계

LGWM은 월드 모델의 새로운 역할인 **검증**(verification)을 제안하며, 기존 시뮬레이터/플래너 역할 외에 **런타임 무결성 검증**을 가능하게 한다. 잠재 표현 공간에서의 예측은 렌더링 없이도 비교 가능하므로, **비용 효율적이고 신뢰성 있는 검증**이 가능하다.
잔차 분석을 통해 예측이 단순한 이상 점수가 아니라 **실제 미래 상태**임을 보여주며, 이는 기존 월드 모델과 구별된다.
한계로는, **표현 공간 내 위반의 해석 가능성**과 **공격자의 표현 공간 위조 가능성**이 언급되며, 이에 대한 정량적 분석은 아직 이루어지지 않았다.

실용적 활용

LGWM은 **GUI 에이전트의 런타임 보안 모니터링**, **앱/웹 인터페이스의 이상 전이 탐지**, **자동화된 UI 테스팅** 등에 활용 가능하다. 특히, **제3자 인터페이스의 신뢰도가 낮은 환경**(광고, 웹 페이지)에서 유용하며, **낮은 지연**(17ms)으로 실시간 검증이 가능하다.