PalmClaw: A Native On-Device Agent Framework for Mobile Phones

Large Language Model (LLM) agents have moved beyond generating responses to executing multi-step tasks by calling tools, observing the results, and iteratively deciding the next action. Most agent systems run on desktops or servers, which support tool use and task automation. Mobile devices are also important agent environments because they are widely accessible and contain users' data, sensors, and daily-use applications. Existing mobile agents mainly operate smartphones through graphical user interface (GUI) actions such as tapping, swiping, and typing, which often form long, interface-dependent sequences, cannot directly access device capabilities, and make execution boundaries difficult to define. We present PalmClaw, an open-source agent framework that runs natively on mobile phones and manages the sessions, memory, skills, tools, and agent loop directly on the device. PalmClaw exposes device capabilities as device tools with explicit arguments, structured results, and clearly defined execution boundaries. This design enables agents to use mobile capabilities directly while keeping each action explicit and controlled. Experiments show an 11.5\% relative improvement in task success and a 94.9\% reduction in completion time over the strongest baseline, with lower setup burden and traces illustrating how execution boundaries are applied. Code is available at https://github.com/ModalityDance/PalmClaw.

한 줄 요약

PalmClaw는 모바일 기기에서 직접 실행되는 오픈소스 에이전트 프레임워크로, 11.5%의 작업 성공률 향상과 94.9%의 완료 시간 감소를 기록했다.

핵심 기여도

PalmClaw는 모바일 기기 내부에서 에이전트 루프, 메모리, 스킬, 도구, 세션 상태를 직접 관리하는 오픈소스 프레임워크이다.
모바일 자원과 기능을 명시적 인수, 구조화된 결과, 도구별 실행 경계를 통해 노출하는 **device tools**를 설계했다.
MobileTask 데이터셋에서 기존 베이스라인 대비 11.5%의 작업 성공률 향상과 94.9%의 완료 시간 감소를 달성했다.
설치 부담이 낮고 실행 경계 적용 사례를 추적 분석하여 투명성을 높였다.

핵심 아이디어

기존 모바일 에이전트는 GUI 기반의 터치, 스와이프, 타이핑 등의 동작을 통해 작업을 수행했으나, 이는 인터페이스에 의존적이며 장치 자원에 직접 접근하지 못하는 한계가 있었다. PalmClaw는 **device tools**라는 개념을 도입하여, 모바일 기기의 센서, 파일, 앱 등 내부 자원을 명시적 인수와 구조화된 결과를 통해 노출하고, 실행 경계를 명확히 정의함으로써 에이전트가 직접 장치 기능을 활용할 수 있도록 했다. 이는 GUI 기반 접근법과 달리, 각 동작이 명확하고 제어 가능하게 되어 작업 효율성과 안정성을 동시에 확보할 수 있다.

기술적 접근법

**PalmClaw**는 모바일 기기 내부에서 에이전트 루프, 메모리, 스킬, 도구, 세션 상태를 직접 관리한다.
**Device tools**는 명시적 인수, 구조화된 결과, 도구별 실행 경계를 통해 모바일 자원을 노출한다.
**MobileTask** 데이터셋을 기반으로 실험을 수행했으며, **RQ1~RQ3**의 평가 질문을 통해 성능과 실행 경계 적용을 분석했다.
**AGPLv3 라이선스**로 오픈소스로 배포되며, 설치 패키지는 GitHub에서 제공된다.

주요 결과

**MobileTask** 데이터셋에서 기존 최고 성능 베이스라인 대비 **11.5%의 작업 성공률 향상**과 **94.9%의 완료 시간 감소**를 달성했다.
설치 부담이 낮고, 실행 경계 적용 사례를 추적 분석하여 투명성과 제어력을 보여주었다.

의의 및 한계

PalmClaw는 모바일 기기 내부에서 에이전트를 실행함으로써, 사용자의 데이터와 센서, 앱 접근성을 높이고, 작업 자동화의 범위를 확장한다. 특히, GUI 기반 접근법의 한계를 극복하고, 명시적 도구 사용을 통해 작업의 명확성과 제어력을 높인 점이 학술적·실용적 가치로 작용한다. 그러나 현재는 **MobileTask** 데이터셋에만 적용되었으며, 다양한 모바일 앱과 환경에서의 일반화 가능성은 추가 연구가 필요하다.

실용적 활용

PalmClaw는 사용자의 개인 데이터와 센서에 접근할 수 있어, **모바일 기반의 자동화 작업**, **사생활 보호를 고려한 에이전트 실행**, **일상적인 앱 제어 및 파일 관리** 등에 활용 가능하다. 특히, PC 접근성이 낮은 사용자에게 유용한 모바일 중심의 에이전트 플랫폼으로 기능할 수 있다.