KnowAct-GUIClaw: Know Deeply, Act Perfectly, Personal GUI Assistant with Self-Evolving Memory and Skill

OpenClaw has emerged as a leading agent framework for complex task automation, yet it faces insufficient cross-platform GUI interaction support and a well-built self-evolution mechanism. These flaws limit its adaptation to diverse device ecosystems and prevent performance improvements through continuous learning from execution experience. To resolve these issues, we propose the Know Deeply, Act Perfectly paradigm for personal assistants, which holds that accumulated user interaction and task-running experience directly improve execution accuracy and efficiency, unifying cognitive comprehension and operational execution. Based on this paradigm, we introduce KnowAct-GUIClaw, a novel Know-Route-Act-Reflect framework designed to address OpenClaw's GUI manipulation deficits and break through its cross-platform and recursive self-improvement constraints. First, the host agent leverages accumulated interaction experience and task-relevant knowledge for long-horizon task decomposition and allocation (Know). Second, a pluggable GUI subagent with an experience-attributable memory system (Know) and self-evolving skill library (Act), enabling seamless cross-platform migration and fast-path integration. Especially, this framework continuously stores user profiles and feedback to improve the accuracy of task decomposition and tool calls. Extensive experiments across Android, iOS, HarmonyOS and Windows show that KnowAct-GUIClaw achieves superior efficiency, accuracy and cross-platform adaptability. Especially, the GUIClaw with open-source Kimi-2.6 models achieves the best performance (64.1%) on the long-horizon MobileWorld benchmark, beating all agentical frameworks and closed-source agentical models, e.g., Seed-2.0-Pro and GPT-5.5. Additionally, the knowledgeable memory and execution skills supported by our framework are transferable across diverse base models, improving by 8.5% with Kimi-2.6.

한 줄 요약

KnowAct-GUIClaw는 OpenClaw의 GUI 조작 및 자기진화 기능을 개선한 크로스플랫폼 개인 보조 프레임워크로, 64.1% 성능을 달성했다.

핵심 기여도

**Know-Route-Act-Reflect** 프레임워크를 제안하여 OpenClaw의 GUI 조작 및 자기진화 한계를 해결.
**경험 기반 지식 저장소**와 **자기진화 스킬 라이브러리**를 도입, 8.5% 성능 향상.
**Kimi-2.6 모델 기반 GUIClaw**가 MobileWorld 벤치마크에서 64.1% 성능 달성, Seed-2.0-Pro 및 GPT-5.5를 초과.
**GUI 실행 비용 절감**을 위해 CLI 도구와 스킬 재사용을 통한 5% 토큰 절감.

핵심 아이디어

OpenClaw는 복잡한 작업 자동화에 강하지만, GUI 조작과 자기진화 기능이 부족해 다양한 장치 생태계에 적응하지 못한다. 이에, **"Know Deeply, Act Perfectly"**라는 패러다임을 제시하며, 사용자와의 상호작용 경험과 작업 실행 경험을 기반으로 실행 정확도와 효율성을 향상시킨다.

KnowAct-GUIClaw는 **Know-Route-Act-Reflect** 4단계 파이프라인을 통해, 고수준 작업 분해(Host Agent)와 저수준 GUI 조작(GUI Subagent)를 분리한다. 특히, **경험 기반 지식 저장소**(Experience Memory)와 **자기진화 스킬 라이브러리**(Skill Library)를 통해 반복 작업 시 실행 경로를 재학습하지 않고 기존 스킬을 재사용한다.

이러한 구조는 GUI 실행 시 **시각적 관찰을 최소화**하고, **CLI 도구와 스킬 활용**을 통해 효율성을 극대화하며, 특히 **Kimi-2.6 모델**에서 64.1%의 높은 성능을 보인다.

기술적 접근법

**Know-Route-Act-Reflect** 프레임워크:
**Know**: Host Agent가 과거 경험과 지식을 기반으로 작업 분해 및 할당.
**Route**: GUI Subagent에 필요한 작업만 선택적으로 실행.
**Act**: GUI Subagent가 스크린샷 인식, 액션 정규화, 스킬 실행.
**Reflect**: 실행 결과를 기반으로 스킬 라이브러리와 경험 저장소 업데이트.
**경험 기반 지식 저장소**(Experience Memory): 사용자 프로필과 피드백을 저장해 향후 작업 분해 정확도 향상.
**자기진화 스킬 라이브러리**(Skill Library): 성공/실패한 작업 흐름을 기반으로 스킬 생성 및 최적화.
**CLI 도구 활용**: GUI 실행이 불필요한 경우 CLI로 대체하여 토큰 소비 감소.
**Kimi-2.6 모델 기반 실행**: MobileWorld 벤치마크에서 64.1% 성능 달성.

주요 결과

**MobileWorld 벤치마크**에서 Kimi-2.6 기반 GUIClaw가 64.1% 성능 달성, Seed-2.0-Pro 및 GPT-5.5를 초과.
**Qwen3.5-35B-A3B 모델**에서 Kimi-2.6 기반 경험 저장소와 스킬 라이브러리를 전이 적용한 경우, 41.0% 성능 달성 (기존 37.9% 대비 +3.1%).
**GUI 실행 토큰 소비**가 스킬 활용 시 5% 감소 (397B 모델 기준, 278,289 → 260,516 토큰).
**GUI 단계 수 감소**: 스킬 사용 시 26.8 → 23.7 단계 감소 (3단계 감소).

의의 및 한계

KnowAct-GUIClaw는 OpenClaw의 GUI 조작 및 자기진화 기능을 획기적으로 개선하며, **경험 저장소와 스킬 라이브러리의 전이 학습 가능성**을 입증해 모델 간 지식 공유의 가능성을 제시한다. 특히, **Kimi-2.6 → Qwen3.5-35B-A3B** 모델 간 전이 성능 향상은 모델 독립적 지식 전이의 잠재력을 보여준다.

하지만, **모든 작업이 GUI 기반으로 실행되는 구조**이기 때문에, 일부 작업에서는 CLI 활용이 필수적이며, **GUI 실행 비용 절감을 위한 최적화**가 여전히 필요하다. 또한, **모든 장치 및 앱에 대한 경험 저장소의 포괄성**은 아직 검증되지 않았다.

실용적 활용

KnowAct-GUIClaw는 모바일, 웹, 데스크톱 등 다양한 플랫폼에서 사용자 작업 자동화에 적용 가능하다. 특히, **복잡한 다앱 작업**(예: 데이터 이관, 로그인 환경 내 다단계 작업)이나 **반복성 높은 GUI 작업**에 유용하며, **개인화된 사용자 경험**을 제공하는 개인 보조 시스템 개발에 활용될 수 있다.