RESOURCE2SKILL: Distilling Executable Agent Skills from Human-Created Multimodal Resources

Skills are a useful abstraction for software agents, turning human and agent experience into reusable procedural knowledge. Yet existing skill libraries are mostly hand-written, text-centric, or derived from agent traces, leaving tutorial videos and other multimodal human resources largely underused. We present RESOURCE2SKILL, a framework that distills multimodal resources, including tutorial videos, repositories, articles, and reference artifacts, into executable skills for software agents. RESOURCE2SKILL organizes these skills as a hierarchical multimodal Skill Wiki, where each entry combines structured text, code, visual examples, metadata, and provenance. This design preserves complementary signals from different resources: videos capture temporal operations and visual effects, code captures executable tool patterns, and articles or artifacts provide conceptual and stylistic grounding. At inference time, agents retrieve and compose relevant skills from the wiki; when coverage is insufficient, the same construction operator can acquire new skills online. Across seven practical authoring domains, RESOURCE2SKILL improves average overall score by +11.9 percentage points over no-skill agents and outperforms strong harness baselines in 26 of 28 main-aggregate model-domain cells. Ablations confirm the value of multimodal skill format, hierarchical organization, source diversity, selection strategy, and online acquisition.

한 줄 요약

RESOURCE2SKILL은 멀티모달 자료를 실행 가능한 에이전트 스킬로 추출하는 프레임워크로, 7개 도메인에서 평균 +11.9% 성능 향상을 보인다.

핵심 기여도

멀티모달 자원(튜토리얼 영상, 문서, 코드 등)을 실행 가능한 스킬로 추출하는 RESOURCE2SKILL 프레임워크 제안.
각 스킬은 멀티모달 Skill Wiki에 저장되며, 텍스트, 코드, 시각 예시, 메타데이터, 출처 정보를 포함.
7개 실용적 도메인에서 평균 +11.9% 성능 향상, 28개 메인-집계 셀 중 26개에서 기존 헤이브리스 기반 베이스라인을 초과.
온라인 스킬 확장 기능을 통해 라이브러리 커버리지 부족 시 실시간으로 새로운 스킬을 생성.

핵심 아이디어

RESOURCE2SKILL은 기존 스킬 라이브러리가 주로 텍스트 중심이거나 수작업으로 작성된 한계를 극복하기 위해, 인간이 생성한 멀티모달 자원(예: 영상, 문서, 코드)을 실행 가능한 스킬로 추출하는 프레임워크를 제안한다. 이는 단순 텍스트 요약이 아닌, 동작 순서, 시각적 변화, 코드 패턴 등을 포함한 절차적 지식을 보존한다. 핵심 아이디어는 멀티모달 자원에서 절차적 신호를 추출하여 재사용 가능한 형식으로 정규화하고, 이를 계층적 Skill Wiki에 저장하여 에이전트가 효율적으로 검색·실행할 수 있도록 하는 것이다. 이는 기존의 단일 모드(예: 텍스트 또는 코드) 기반 스킬 라이브러리와는 차별화된 접근법이다.

기술적 접근법

RESOURCE2SKILL은 4단계로 구성된 파이프라인을 사용:
1. **Construction**: 멀티모달 자원(튜토리얼 영상, 레포지토리, 문서 등)에서 도메인별 스킬을 추출.
2. **Wiki Organization**: 추출된 스킬을 계층적 Skill Wiki에 저장. 각 항목은 텍스트, 코드, 시각 예시, 메타데이터, 출처 정보를 포함.
3. **Selection**: 사용자 요청에 따라 계층적 인덱스를 탐색하여 후보 스킬 풀을 형성.
4. **Execution**: 관련 멀티모달 항목을 읽고 실행 시 조합.

온라인 스킬 확장 기능은 오프라인 라이브러리가 커버리지 부족 시 새로운 자원을 검색하고 추가 스킬을 추출하여 라이브러리를 확장한다. 모든 단계는 MCP 매개변수를 통해 도메인별 백엔드 상에서 실행된다.

주요 결과

7개 실용적 도메인(슬라이드 디자인, 웹페이지 생성, 스프레드시트, 블렌더, CAD, UE5, 음악 제작)에서 평균 +11.9% 성능 향상.
28개 메인-집계 셀 중 26개에서 강력한 에이전트 헤이브리스 기반 베이스라인을 초과.
멀티모달 스킬 형식, 계층적 조직, 출처 다양성, 선택 전략, 온라인 확장 등 요소별 아블레이션 실험을 통해 효과 검증.

의의 및 한계

RESOURCE2SKILL은 인간이 생성한 멀티모달 자원을 실행 가능한 절차적 지식으로 변환하여, 소프트웨어 에이전트의 태스크 수행 능력을 향상시킨다. 기존 텍스트 중심 또는 수작업 기반 스킬 라이브러리의 한계를 극복하며, 다양한 도메인에서 실용적 성능 향상을 보인다. 특히, 계층적 Skill Wiki 구조는 도메인 구조를 반영하여 검색 효율성을 높이고, 온라인 확장 기능은 라이브러리의 유연성과 확장성을 제공한다. 그러나 현재는 특정 도메인(예: 슬라이드, 웹, CAD 등)에만 적용되었으며, 더 넓은 범위의 도메인 적용 가능성은 추가 연구가 필요하다.

실용적 활용

RESOURCE2SKILL은 슬라이드 디자인, 웹 개발, CAD, 게임 개발(UE5), 음악 제작 등 다양한 소프트웨어 작업 도메인에서 활용 가능하다. 특히, 사용자 교육 자료(튜토리얼 영상, 문서)가 풍부한 상황에서 에이전트가 절차적 지식을 자동으로 학습하고 재사용할 수 있어, 개발자 도구, 디자인 지원 시스템, 크리에이티브 작업 플랫폼 등에 적용 가능하다.