Relevance Does Not Imply Applicability: Experience Activation for Personal GUI Agents

Personal Graphical User Interface (GUI) agents rely on interaction history to infer what a user wants from ambiguous instructions and to anticipate recurring routines. Existing approaches retrieve task-relevant history and append it to the policy's context, implicitly assuming that experience relevant to a task remains useful for each decision within it. We find that this help is largely spent at the first decision: retrieved history strongly improves the opening step of an episode, yet provides little sustained benefit over the remaining 90\% of steps, and offers weak guidance on whether a proactive suggestion is warranted. A relevant record may tell the agent where to begin, but not which past action applies to the current screen or whether a routine is due now. The underlying issue is that relevance does not imply applicability}: relevance is determined at the task level, whereas applicability depends on the situation at decision time. We therefore recast personalization as experience activation and introduce ExpActivator, a training-free framework that activates only the experience applicable to the current situation. During execution, ExpActivator matches each new screen to historical states in the frozen GUI backbone's latent space and supplies the corresponding action as a reference. Before execution, it activates a recurring intent only when the current time and scenario provide sufficient support, and otherwise abstains. Across four GUI backbones, ExpActivator improves within-trajectory step success by 28\% on average, achieves the best personalized execution on every backbone while using about one-fifth as many history tokens, and reaches approximately 2.3times the Matthews correlation coefficient of the strongest proactive baseline. Experience pays where it is activated, not where it is appended.

한 줄 요약

ExpActivator는 GUI 에이전트의 개인화 실행과 프로액티브 제안을 28% 향상시키는 트레이닝 없는 경험 활성화 프레임워크이다.

핵심 기여도

기존 태스크 수준 검색 방식이 결정 수준 적용 가능성과 동일하지 않음을 진단 (예: 첫 단계에서만 유용).
ExpActivator를 제안: 스텝 수준과 태스크 수준의 경험 활성화를 통해 GUI 백본 4개에서 평균 28%의 단계 성공률 향상.
프로액티브 제안에서 Matthews Correlation Coefficient가 기존 최고 기준 대비 약 2.3배 향상.
기존 방법 대비 약 1/5 수준의 히스토리 토큰만 사용.

핵심 아이디어

기존 GUI 에이전트는 사용자의 히스토리에서 관련 태스크를 검색하여 정책의 컨텍스트에 추가하는 방식을 사용한다. 그러나 이는 태스크 수준의 관련성을 결정 수준의 적용 가능성과 동일시하는 오류를 낳는다. 즉, 관련된 경험은 시작 단계에서만 유용하며, 이후 단계에서는 적용되지 않는다. ExpActivator는 경험 활성화를 통해 이 문제를 해결한다. 스텝 수준에서는 현재 화면을 GUI 백본의 잠재 공간에서 과거 상태와 매칭하고, 해당 행동을 참조로 제공한다. 태스크 수준에서는 현재 시간과 시나리오가 루틴을 지원할 때만 반복 의도를 활성화한다. 이는 경험을 단순히 추가하는 것이 아니라, 결정 시점에만 적용하는 방식으로, 개인화를 실행 시 선택 문제로 재정의한다.

기술적 접근법

**ExpActivator**: 트레이닝 없는 프레임워크.
**스텝 수준 활성화**: 새로운 화면을 GUI 백본의 잠재 공간에서 과거 상태와 매칭.
**태스크 수준 활성화**: 현재 시간과 시나리오가 루틴을 지원할 때만 반복 의도를 활성화.
**GUI 백본**: Qwen3-VL-8B (고정된 정책).
**평가 데이터**: 7,140개의 within-trajectory 행동, 315개의 태스크 수준 상태.
**하이퍼파라미터**: 명시되지 않음.

주요 결과

**GUI 백본 4개에서 평균 28%의 단계 성공률 향상**.
**전체 단계 성공률에서 기존 최강 기준 대비 약 20% 향상**.
**프로액티브 제안에서 Matthews Correlation Coefficient가 기존 최고 기준 대비 약 2.3배 향상**.
**기존 방법 대비 약 1/5 수준의 히스토리 토큰만 사용**.

의의 및 한계

ExpActivator는 GUI 에이전트의 개인화 실행과 프로액티브 제안을 동시에 개선하는 첫 번째 트레이닝 없는 프레임워크로, 경험을 단순히 추가하는 방식을 대체한다. 이는 개인화를 실행 시 선택 문제로 재정의함으로써, 사용자 상황에 맞는 정확한 행동을 유도한다. 그러나 ExpActivator는 GUI 백본의 잠재 공간 매칭에 의존하므로, 백본의 표현 능력에 따라 성능이 변할 수 있다. 또한, 시간과 시나리오 기반 태스크 수준 활성화는 루틴이 명확히 정의되어 있는 경우에만 효과적일 수 있다.

실용적 활용

ExpActivator는 스마트폰 앱 자동화, 개인화된 가상 어시스턴트, 반복 작업 자동화 등 사용자 인터페이스와 직접 상호작용하는 시스템에 적용 가능하다. 특히, 사용자의 일상 루틴을 자동으로 예측하고 실행해야 하는 상황에서 유용하다.