Reflect, Revise, Reuse: Training-Free Skill Evolution for GUI Agents

GUI agents execute long-horizon tasks on dynamic graphical user interfaces, where pop-ups, delayed loads, and relocated widgets routinely invalidate plans fixed before execution. Recent agent-skill frameworks encapsulate reusable procedural knowledge to mitigate this, yet existing skill designs are largely developed without targeting GUI execution dynamics and treat skills as static artifacts produced before deployment rather than living procedural knowledge that improves through it. We argue that what GUI agents need is not better static skills, but skills that can be revised from execution feedback at deployment time, without additional training. We propose EvoSkill-GUI, a training-free framework in which each skill is a structured multi-file package containing retrieval metadata, executable plans, backup localization, failure-recovery rules, accessibility utilities, and failure cases. EvoSkill-GUI operates through a \emph{reflect-revise-reuse} loop: the executor performs instant in-rollout revisions, an isolated critic diagnoses failed trajectories under strict information isolation, and the executor edits specific skill files through a restricted tool interface. Across MobileWorld, AndroidWorld, and OSWorld, three mainstream GUI benchmarks spanning mobile and desktop platforms, EvoSkill-GUI consistently improves multiple base models without any training, with maximum gains of +16.2%, +6.0%, and +10.5% respectively, and evolved skill libraries continue to benefit related tasks rather than being rebuilt from scratch. Our code is available at https://github.com/ZJU-REAL/EvoSkill-GUI.

한 줄 요약

EvoSkill-GUI는 GUI 에이전트의 실행 피드백을 기반으로 훈련 없이 스킬을 수정하는 반복 루프를 통해 성능을 향상시킨다.

핵심 기여도

EvoSkill-GUI는 훈련 없이 GUI 스킬을 수정하는 *reflect-revise-reuse* 루프를 제안.
각 스킬은 검색 메타데이터, 실행 계획, 백업 로컬라이제이션, 복구 규칙 등을 포함한 구조화된 다중 파일 패키지로 표현.
MobileWorld, AndroidWorld, OSWorld에서 각각 최대 +16.2%, +6.0%, +10.5% 성능 향상.
수정된 스킬 라이브러리는 관련 작업에 재사용 가능하며, 처음부터 재구성할 필요 없음.

핵심 아이디어

GUI 환경은 동적이고 불안정한 특성으로 인해 기존 스킬이 실행 중 실패할 가능성이 높다. EvoSkill-GUI는 이 문제를 해결하기 위해 실행 중 발생한 실패를 즉시 반영하여 스킬을 수정하는 방식을 제안한다. 기존 접근은 스킬을 실행 전에 정적으로 생성한 뒤 재사용하는 데 초점을 맞추었으나, EvoSkill-GUI는 실행 중 발생한 피드백을 기반으로 스킬을 반복적으로 수정하고 업데이트한다. 이는 *reflect-revise-reuse* 루프를 통해 구현되며, 실행 중 수정(in-rollout revisions), 정보 격리된 비판(isolated critic), 제한된 도구 인터페이스를 통한 수정(editing)이 핵심이다.

기술적 접근법

**EvoSkill-GUI**: 훈련 없이 GUI 스킬을 수정하는 프레임워크.
**reflect-revise-reuse 루프**:
*Reflect*: 실행 실패 시, 격리된 비판자(critic)가 실패 트래젝토리 진단.
*Revise*: 실행자(executor)가 제한된 도구 인터페이스를 통해 스킬 파일 수정.
*Reuse*: 수정된 스킬은 검증 후 라이브러리에 저장되어 재사용.
**구조화된 다중 파일 스킬 패키지**:
검색 메타데이터, 실행 계획, 백업 로컬라이제이션, 복구 규칙, 접근성 유틸리티, 실패 사례 포함.
**단일 백본 모델**: 실패 진단 및 수정 모두 동일한 모델이 수행 (single-backbone self-evolution).

주요 결과

**MobileWorld**: +16.2% 성능 향상 (기존 모델 대비).
**AndroidWorld**: +6.0% 성능 향상.
**OSWorld**: +10.5% 성능 향상.
수정된 스킬 라이브러리는 관련 작업에 재사용 가능하며, 처음부터 재구성할 필요 없음.
구조화된 패키지, 즉시 수정, 반영 기반 수정의 중요성은 Ablation Study에서 확인됨.

의의 및 한계

EvoSkill-GUI는 GUI 에이전트의 실행 중 피드백을 기반으로 스킬을 훈련 없이 수정함으로써, 기존 정적 스킬 기반 접근의 한계를 극복한다. 특히, 실행 중 발생한 오류를 즉시 반영하여 스킬을 업데이트함으로써, GUI 환경의 동적 특성을 효과적으로 대처할 수 있다. 또한, 수정된 스킬은 라이브러리에 저장되어 다른 관련 작업에도 활용될 수 있어, 재사용성과 효율성을 동시에 달성한다.

그러나, EvoSkill-GUI는 실패 트래젝토리 진단과 수정이 모두 단일 백본 모델에 의존하므로, 모델의 판단 오류가 수정 과정에 영향을 줄 수 있다는 한계가 있다. 또한, 수정된 스킬의 범용성과 장기적 안정성에 대한 평가가 추가적으로 필요할 수 있다.

실용적 활용

EvoSkill-GUI는 모바일 및 데스크톱 애플리케이션에서 자동화된 GUI 작업을 수행하는 에이전트에 적용 가능하다. 특히, 동적인 UI 환경에서 실행 중 오류를 실시간으로 수정하고, 스킬을 지속적으로 개선해야 하는 상황에서 유용하다. 예를 들어, 자동화된 고객 지원 시스템, UI 테스팅, 또는 앱 내 자동화된 작업 수행에 활용할 수 있다.