UI-Mate: Advancing Open-Weight Foundation GUI Agents with In-Context Demonstrations

Foundation GUI agents can automate complex digital tasks, but deployment is hindered by scarce and biased training data, ambiguous prompts, and unreliable execution. Routine workflows rely on user-specific tools and tacit conventions, so unstated instructions can produce arbitrary variations across runs. We present UI-Mate, a foundation GUI agent that integrates an environment-grounded training stack with in-context demonstration learning. UI-Mate makes three contributions: A Scalable Environment-Grounded Training Stack: A closed-loop data engine automates task generation, environment construction, rollout, filtering, capability balancing, SFT, and online RL across massively parallel environments via unified task-verifier bundles. In-Context Demonstration Learning: A mechanism that transforms multimodal demonstrations into flexible subtask-level workflows, follows relevant demonstrated steps, and re-plans from the live interface. OSWorkerBench Benchmark and Insights: A benchmark of 100 long-horizon office tasks across 41 applications that supports instruction-only and demonstration-guided evaluation. Its demonstration resources separate a 33-task self-demo setting, built from successful strong-agent rollouts of the same targets, from a 45-task variant-demo setting, built from human recordings of related but non-identical tasks. Experiments show that UI-Mate-27B sets a new open-weight state of the art on general computer-use benchmarks, scoring 77.0% on OSWorld-Verified and 66.2% on WindowsAgentArena. On OSWorkerBench, it reaches 41.0% strict success and 76.9% progress, outperforming its Qwen3.6-27B base by 17.7 and 24.5 points. On the 33-task self-demo subset, one demonstration raises strict success from 17.2% to 35.4% and progress from 67.9% to 81.1%, substantially improving long-horizon reliability. Project page: https://ui-mate.github.io.

한 줄 요약

UI-Mate는 환경 기반 학습과 인-컨텍스트 데모 학습을 결합한 오픈-웨이트 GUI 에이전트로, OSWorkerBench에서 41.0%의 엄격한 성공률을 달성했다.

핵심 기여도

**Scalable Environment-Grounded Training Stack**: 폐쇄 루프 데이터 엔진을 통해 태스크 생성, 환경 구성, 필터링, SFT, 온라인 RL을 자동화.
**In-Context Demonstration Learning**: 멀티모달 데모를 서브태스크 수준 워크플로우로 변환, 라이브 인터페이스에서 재계획 가능.
**OSWorkerBench**: 100개 장기 헤ORIZON 오피스 태스크, 33-task self-demo와 45-task variant-demo로 평가 지원.
**성능 개선**: UI-Mate-27B는 Qwen3.6-27B 대비 17.7%P, 24.5%P 개선. 33-task self-demo에서 데모 제공 시 18.2%P 엄격 성공률 상승.

핵심 아이디어

UI-Mate는 GUI 에이전트의 학습 및 상호작용 단계에서 발생하는 두 가지 주요 병목 현상을 해결하기 위해 설계되었다. 첫째, **training bottleneck**은 GUI 학습에 필요한 실행 가능한 환경, 검증기, 능력 범위의 부족을 해결하기 위해 **closed-loop data engine**을 도입하여 태스크 생성부터 온라인 강화 학습까지 자동화한다. 둘째, **interaction bottleneck**은 사용자 지정 절차가 명시되지 않아 실행 불확실성이 발생하는 문제를 해결하기 위해 **In-Context Demonstration Learning**을 도입한다. 이는 데모를 단순 재생이 아닌 **subtask-level workflow**로 변환하여, 라이브 화면에서 유연한 재계획이 가능하도록 한다. 특히, 데모가 제공될 경우, 엄격한 성공률이 17.2%에서 35.4%로 상승하는 등 장기 헤ORIZON 신뢰도가 크게 향상된다.

기술적 접근법

**Training Stack**: 폐쇄 루프 데이터 엔진은 태스크 생성, 환경 구성, rollout, filtering, capability balancing, SFT, 온라인 RL을 자동화.
**In-Context Demonstration Learning**: 멀티모달 데모를 서브태스크 단위로 분해하여 실행. 데모 단계가 유효하면 따르고, 라이브 화면과 차이가 있으면 재계획.
**OSWorkerBench**: 100개 장기 헤ORIZON 오피스 태스크, 33-task self-demo(강력한 에이전트 데모), 45-task variant-demo(인간 레코딩).
**모델**: UI-Mate-27B, Qwen3.6-27B 기반.
**Context 관리**: 128K 토큰, 64K 생성 토큰, 40개 최근 텍스트 스텝, 5개 최근 스크린샷 저장.

주요 결과

**OSWorld-Verified**: 77.0% (기존 최고 성능).
**WindowsAgentArena**: 66.2%.
**OSWorkerBench**: 41.0% 엄격 성공, 76.9% 진행. Qwen3.6-27B 대비 각각 17.7%P, 24.5%P 개선.
**33-task self-demo**: 데모 제공 시 엄격 성공률 17.2% → 35.4% (18.2%P 상승), 진행률 67.9% → 81.1% (13.2%P 상승).

의의 및 한계

UI-Mate는 GUI 에이전트의 학습 데이터 부족과 실행 불확실성 문제를 동시에 해결하며, 특히 데모 기반 평가에서 뛰어난 성능을 보인다. OSWorkerBench와 같은 새로운 벤치마크 도입은 장기 헤ORIZON 태스크 평가를 가능하게 하여 연구 진전에 기여한다. 그러나 데모가 제공되지 않은 경우 성능이 낮아지며, 데모가 유사하지 않은 태스크에 적용될 때의 전이 성능은 아직 한계가 있다. 또한, 데모 생성이 인간 또는 강력한 에이전트에 의존하므로 자동화된 데모 생성 기술이 필요하다.

실용적 활용

UI-Mate는 사무실 자동화, 고객 지원 시스템, 소프트웨어 테스팅 등 사용자 맞춤형 절차가 필요한 산업에서 활용 가능하다. 특히, 데모 기반 실행은 사용자 교육 없이도 복잡한 작업을 신뢰성 있게 수행할 수 있도록 지원하며, 기업의 디지털 워크플로우 자동화에 기여할 수 있다.