UI-KOBE: Knowledge-Oriented Behavior Exploration for Lightweight Graph-Guided GUI Agents

Recent advances in mobile GUI agents have shown strong potential for automating mobile tasks, but most effective systems still depend on large vision-language models for screenshot understanding and long-horizon planning. Small GUI agents that can be deployed directly on mobile devices are more attractive for practical use, offering lower inference cost and better protection of sensitive on-device information. However, due to limited model capacity, such lightweight agents remain unreliable when planning and executing GUI tasks end-to-end from screenshots alone. We propose Knowledge-Oriented Behavior Exploration (UI-KOBE), a framework that improves lightweight mobile GUI agents with reusable app-specific graph knowledge. UI-KOBE first autonomously explores a mobile application and constructs an app knowledge graph, where nodes represent distinct UI states and edges represent executable transitions. At runtime, a lightweight GUI agent uses the graph as external guidance: given a user task and the current screenshot, it identifies the current graph node and selects among self-loop actions, neighboring transitions, task completion, or fallback free actions associated with that node. By supporting runtime decisions with app-specific graph guidance, UI-KOBE reduces the burden of end-to-end GUI planning and helps lightweight models perform mobile GUI tasks more effectively, offering a practical step toward efficient, interpretable, and privacy-conscious on-device GUI agents.

📋 한 줄 요약

**[모바일 GUI 에이전트 / 그래프 가이드]** UI-KOBE가 앱별 UI graph(node=상태, edge=transition)를 자동 구축, 경량 에이전트가 런타임에 현 노드 식별 후 self-loop·neighbor·complete·fallback action 중 선택해 lightweight 모델로도 신뢰성 있는 GUI 실행.

🎯 핵심 기여도

모바일 GUI 에이전트가 작업 자동화에 강한 잠재력 보이지만 효과적 시스템 대부분이 screenshot 이해·long-horizon 계획에 large VLM 의존하는 한계 지적.
모바일 기기에 직접 배포 가능한 small GUI 에이전트가 추론 비용 절감·on-device 정보 보호로 실용 매력 있지만, 모델 capacity 한계로 screenshot만으로 end-to-end planning·실행이 unreliable.
UI-KOBE — 재사용 가능한 app-specific graph knowledge로 경량 모바일 GUI 에이전트 개선하는 Knowledge-Oriented Behavior Exploration 프레임워크 제안.
모바일 앱을 자율 탐색해 app knowledge graph 구축(node=distinct UI state, edge=executable transition), 런타임에 lightweight 에이전트가 graph를 external guidance로 사용 — 현 graph node 식별 후 self-loop action·neighboring transition·task completion·fallback free action 중 선택.

💡 핵심 아이디어

경량 모바일 GUI 에이전트의 신뢰성은 end-to-end planning을 모델에 맡기지 말고 미리 구축한 app knowledge graph로 런타임 decision space를 self-loop·neighbor·complete·fallback의 4 선택으로 제약함으로써 확보된다 — 모델 capacity 한계를 외부 구조 지식으로 보완.

🔬 기술적 접근법

**방법론**: UI-KOBE — 사전 graph 탐색 + 런타임 graph-guided decision.
**핵심 기법**: (1) 모바일 앱 자율 탐색으로 app knowledge graph 자동 구축, (2) 그래프 node = distinct UI state, edge = executable transition, (3) 런타임에 lightweight 에이전트가 사용자 task·현 screenshot에서 graph node 식별, (4) Self-loop·neighbor transition·task completion·fallback free action 4 옵션 중 선택, (5) On-device 배포로 비용·privacy 동시 충족.

📊 주요 결과

App-specific graph 활용으로 end-to-end GUI 계획 부담 감소.
경량 모델이 더 효과적으로 모바일 GUI task 수행.
효율·해석 가능·privacy-conscious on-device GUI 에이전트 향한 실용 단계 제공.

💭 의의 및 한계

**의의**: 경량 모바일 에이전트의 신뢰성 격차 해소, app knowledge graph라는 재사용 가능 구조 지식, on-device·privacy 친화 설계. **한계**: 그래프 사전 탐색 비용·앱 업데이트마다 재구축 부담, graph node 식별의 시각 강건성 의존, 4 옵션 외 복잡 동작 표현 한계.

🚀 실용적 활용

온디바이스 모바일 GUI 자동화.
앱별 지식 그래프 기반 RPA.
시각 장애 사용자용 접근성 보조.