Work2Skill: Capturing Human GUI Experience for Reusable Agent Skill Induction

Computer-use agents can perform increasingly complex GUI tasks, yet unfamiliar software and workflows requiring human domain knowledge remain challenging. Human demonstrations convey procedural knowledge through the same GUI interaction space, but reuse requires interpreting actions in context and separating workflow rules from task-specific details. We thus introduce Work2Skill, a framework that captures human GUI experience for reusable agent skill induction. WorkRecorder provides the framework's infrastructure for collecting this experience, aligning screen recordings, mouse and keyboard events, and available accessibility-tree information. Using WorkRecorder, we construct WorkDemo-350, the first synchronized multimodal dataset of human desktop GUI demonstrations for reusable agent skill induction and downstream evaluation. Its 350 demonstrations are screened for completeness and task success. We then propose an agentic skill-induction method that inspects evidence on demand to produce reusable skills capturing workflow rules, step dependencies, and completion checks. When the same four execution models are equipped with skills induced by each method under shared execution settings, Work2Skill achieves the highest scores and success rates. Mean score improvements over the corresponding No Skill baseline are 4.67--10.54 points on MyPCBench Bounded Action and 3.11--7.50 points on a 286-task subset of OSWorld-Verified. Our code and data are available at https://github.com/china-qijizhifeng/Work2Skill.

한 줄 요약

Work2Skill은 인간 GUI 경험을 수집하고 재사용 가능한 에이전트 기술로 변환하는 프레임워크로, WorkRecorder와 WorkDemo-350 데이터셋, 에이전트 기반 기술 유도 방법을 제안한다.

핵심 기여도

WorkRecorder: 화면 녹화, 마우스/키보드 이벤트, 접근성 트리 정보를 정렬한 GUI 경험 수집 인프라.
WorkDemo-350: 350개의 완성도 높은 GUI 데모로 구성된 첫 번째 동기화 멀티모달 데이터셋.
에이전트 기반 기술 유도 방법: 필요 시 증거 검토와 기술 작성/수정을 병행하여 절차 규칙과 완료 검사를 포착.
MyPCBench Bounded Action에서 No Skill 대비 평균 4.67–10.54점, OSWorld-Verified 286-task에서 3.11–7.50점 개선.

핵심 아이디어

기존 GUI 작업 자동화 시스템은 인간의 도메인 지식이 필요한 작업에서 한계가 있다. Work2Skill은 인간 데모를 기반으로 절차적 지식을 추출하고, 이를 재사용 가능한 기술로 변환하는 프레임워크이다. 핵심 아이디어는 **증거 기반의 유연한 기술 유도**로, 작업의 시퀀스와 의존성을 분리하여 일반화된 절차를 생성한다. WorkRecorder는 화면, 이벤트, 접근성 트리 정보를 정렬하여 명확한 작업 의미를 제공하고, WorkDemo-350은 공정한 비교를 위한 공통 데모 자원을 제공한다. 에이전트는 필요 시 증거를 검토하며 기술을 작성하고 수정하는 방식으로, 전체 레코딩을 한 번에 로드하지 않아 컨텍스트 압력을 줄인다.

기술적 접근법

**WorkRecorder**: 화면 녹화, 마우스/키보드 이벤트, 접근성 트리 정보를 정렬하여 명확한 작업 의미 제공.
**WorkDemo-350**: 350개 데모, 64개 MyPCBench Bounded Action 작업, 286개 OSWorld-Verified 작업 포함.
**에이전트 기반 기술 유도**: 증거 검토와 기술 작성/수정을 병행. 기존 레코딩을 전체로 로드하지 않고 필요한 부분만 선택적으로 참조.
**평가**: MyPCBench와 OSWorld-Verified에서 공식 평가기 사용. 평가 지표는 점수(Score, 0–100)와 완료율(SR, %)로 정의.

주요 결과

MyPCBench Bounded Action에서 No Skill 대비 평균 4.67–10.54점 개선.
OSWorld-Verified 286-task에서 No Skill 대비 평균 3.11–7.50점 개선.
동일한 실행 모델에서 Work2Skill이 가장 높은 점수와 성공률 달성.
MyPCBench Jitter와 모델 간 이전 실험에서 재사용성 검증.

의의 및 한계

Work2Skill은 인간 데모를 기반으로 재사용 가능한 기술을 유도하는 체계적인 프레임워크로, 동일한 작업 조건에서 기존 방법보다 높은 성능을 보인다. WorkRecorder와 WorkDemo-350은 연구자들이 다양한 기술 유도 방법을 비교할 수 있는 공통 자원을 제공하며, 증거 기반의 유연한 기술 작성 방식은 실제 환경에서의 일반화 능력을 향상시킨다. 그러나 현재는 데스크톱 GUI에만 적용되며, 웹 기반 작업이나 더 복잡한 도메인으로 확장 가능성은 명시되지 않음. 또한, 기술 유도 과정에서 사용되는 프롬프트 설계와 입력 모달의 영향은 추가 실험을 통해 검증 중이다.

실용적 활용

Work2Skill은 기업 내부 시스템, 재무, 인사 등 도메인 지식이 필요한 데스크톱 작업 자동화에 적용 가능하다. 특히, 사용자 맞춤형 절차를 기반으로 한 작업 자동화 도구나, 교육 및 훈련 시스템에서 기술 전달 및 재사용에 활용할 수 있다.