Computer-Use Agents (CUAs) are increasingly deployed in dynamic interactive environments, creating a growing need for continual skill learning during interaction. Recent approaches address this challenge by learning reusable skills from successful trajectories. However, these skill learning methods largely assume static and safe environments, overlooking risks from adversarial interactions (e.g., prompt injections) and environmental dynamics (e.g., pop-ups). In dynamic settings, such assumptions can lead to risky skill learning and brittle execution, undermining the reliability of CUAs. This raises the question: how can CUAs learn and use skills safely in dynamic environments? To address this problem, we propose SkillHarness, a framework for safe skill harnessing in dynamic environments. SkillHarness moves beyond static skill abstractions by modeling skill learning and utilization as a safety-constrained interaction process. Specifically, we introduce the skill boundary that leverages multi-source supervision signals to identify safe skills from interaction trajectories, and construct self-improving safety constraints throughout the skill lifecycle. In addition, SkillHarness introduces selective skill reuse, where tasks are guided to decompose according to context and completed through the selective activation of skill subsets. Our experiments demonstrate that SkillHarness significantly reduces the unsafe rate of learned skills by 57.1% and consistently improves execution stability under dynamic environmental changes, outperforming existing baselines.
한 줄 요약
SkillHarness는 동적 환경에서 안전한 스킬 학습과 실행을 지원하는 프레임워크로, 기존 방법 대비 57.1%의 위험률 감소를 달성한다.
핵심 기여도
- 기존 스킬 학습 방법의 두 가지 한계(감독 편향, 고정된 실행 흐름)를 명확히 지적.
- SkillHarness 프레임워크를 제안: skill boundary와 selective skill reuse를 핵심으로, 실험적으로 57.1%의 안전률 향상.
- macro skill과 micro skill의 분리 구조를 통해 실행 안정성 19% 향상.
- 실험에서 모델 규모에 무관하게 안전 성능 유지.
핵심 아이디어
SkillHarness는 기존 스킬 학습이 정적이고 안전한 환경을 가정하는 문제를 해결하기 위해, 스킬 학습과 실행을 안전 제약이 있는 상호작용 과정으로 모델링한다. 이는 인간의 know-how 학습 방식에서 영감을 받은 것으로, 단순히 성공 경로만 학습하는 것이 아니라 실패 사례와 위험 신호도 통합한다. 핵심은 **skill boundary** 모듈로, 성공, 실패, 위험의 세 가지 감독 신호를 결합해 스킬의 안전한 적용 조건을 학습한다. 또한, **selective skill reuse**를 통해 매크로 스킬(macro skill)과 마이크로 스킬(micro skill)을 분리하고, 실행 시 환경 상태에 따라 안전한 스킬만 선택적으로 활성화한다.
기술적 접근법
- **Skill Boundary**: 성공, 실패, 위험 신호를 통합하여 스킬의 안전한 적용 조건을 학습.
- **Selective Skill Reuse**: 매크로 스킬은 고수준 전략과 제약을, 마이크로 스킬은 현재 상태에 맞춘 파라미터화된 코드를 담당.
- **Update Mechanism**: 스킬 라이프사이클 내에서 지속적인 제약 조건 업데이트를 통해 안정성 향상.
- 실험에서 모델 규모에 무관하게 안전률 유지 (Table 3 참조).
주요 결과
- **SkillHarness**는 기존 방법 대비 **57.1%의 위험률 감소**를 달성.
- **실행 안정성**은 평균 **19% 향상**.
- **안전 성능**은 평균 **31.9% 개선**.
- **Ablation Study**에서 skill boundary 제거 시 공격 성공률(ASR)이 +9.6% 증가, 핵심 구성요소임을 입증.
의의 및 한계
SkillHarness는 동적 환경에서 안전한 스킬 학습과 실행을 가능하게 하며, 기존 방법의 감독 편향과 실행 불안정 문제를 해결한다. 특히, **skill boundary**와 **selective reuse**를 통해 스킬의 적용 조건을 명시적으로 학습하고 실행 시 제약을 강화함으로써, 안정성과 안전성을 동시에 달성한다. 그러나 실험은 특정 벤치마크에 제한되었으며, 실제 OS 환경에서의 대규모 적용 가능성은 추가 연구가 필요하다.
실용적 활용
SkillHarness는 보안 위험이 높은 환경에서의 자동화 작업, 예를 들어 네트워크 관리, 보안 감시, 또는 사용자 인터페이스 자동화에 적용 가능하다. 특히, **prompt injection 공격**과 같은 위협이 있는 상황에서 안전한 스킬 실행을 보장하는 데 유용하다.