WASP: Benchmarking Web Agent Security Against Prompt Injection Attacks

Autonomous UI agents powered by AI have tremendous potential to boost human productivity by automating routine tasks such as filing taxes and paying bills. However, a major challenge in unlocking their full potential is security, which is exacerbated by the agent's ability to take action on their user's behalf. Existing tests for prompt injections in web agents either over-simplify the threat by testing unrealistic scenarios or giving the attacker too much power, or look at single-step isolated tasks. To more accurately measure progress for secure web agents, we introduce WASP -- a new publicly available benchmark for end-to-end evaluation of Web Agent Security against Prompt injection attacks. Evaluating with WASP shows that even top-tier AI models, including those with advanced reasoning capabilities, can be deceived by simple, low-effort human-written injections in very realistic scenarios. Our end-to-end evaluation reveals a previously unobserved insight: while attacks partially succeed in up to 86% of the case, even state-of-the-art agents often struggle to fully complete the attacker goals -- highlighting the current state of security by incompetence.

한 줄 요약

WASP는 웹 에이전트의 프롬프트 인젝션 공격에 대한 보안을 종단간 평가하는 새로운 벤치마크로, 86%의 중간 공격 성공률에도 불구하고 최종 공격 목표 달성률은 17% 미만인 점을 밝혀냈다.

핵심 기여도

WASP: 프롬프트 인젝션 공격에 대한 종단간 평가를 위한 새로운 공개 벤치마크 도입.
기존 연구보다 현실적인 공격 시나리오를 구현 (예: 사이트 전체 해킹 없이 공격자 유저로 모델링).
상위 AI 모델 (GPT-4o, Claude)가 단순 인간 작성 인젝션에 속는 것을 실험적으로 입증.
공격 성공률 (ASR-intermediate: 최대 86%)과 최종 목표 달성률 (ASR-end-to-end: 최대 17%)의 차이를 발견.

핵심 아이디어

WASP는 기존 연구가 단일 단계 공격이나 과도하게 이상화된 공격 시나리오에 의존한 한계를 극복하기 위해 설계되었다. 공격자의 목표와 능력을 현실적으로 모델링하여, 사이트 전체를 해킹하지 않고도 공격자가 일반 사용자처럼 행동하도록 설정했다. 또한, 공격자의 구체적 목표 (예: 사용자 비밀번호 변경)를 정의하고, 이 목표가 실제 웹 환경에서 달성 가능한지 평가한다. 이는 종단간 평가를 통해 에이전트의 보안 취약점을 보다 정확하게 파악할 수 있도록 한다. WASP는 VisualWebArena 기반의 샌드박스 환경에서 동작하며, 다양한 웹 에이전트와 호환된다.

기술적 접근법

WASP는 VisualWebArena 기반의 샌드박스 환경에서 구현된 동적 벤치마크.
공격 시나리오는 실제 웹 환경을 반영하며, 공격자의 목표는 비밀번호 변경, 결제 유도 등 현실적인 보안 위반을 포함.
평가 대상 모델: Claude Computer Use, GPT-4o, GPT-4o-mini, o1 등.
공격 성공률 (ASR)은 중간 단계 (ASR-intermediate)와 최종 단계 (ASR-end-to-end)로 구분하여 측정.
공격자는 에이전트의 내부 구조를 알지 못하며, 단순히 인간 작성의 저비용 인젝션을 사용.

주요 결과

중간 공격 성공률 (ASR-intermediate): 최대 86% (GPT-4o 등 상위 모델 포함).
최종 공격 목표 달성률 (ASR-end-to-end): 0~17% 사이.
GPT-4o, Claude 등 상위 모델도 단순 인젝션에 속는 것으로 드러남.
공격 성공률과 최종 목표 달성률 간의 괴리는 "보안 by 무능력(security by incompetence)" 현상으로 해석됨.

의의 및 한계

WASP는 프롬프트 인젝션 공격에 대한 현실적인 평가 기준을 제시하며, 기존 연구의 단일 단계 평가와 과도한 가정에 기반한 한계를 보완한다. 또한, 공개 벤치마크로 연구 재현성과 비교 가능성을 높인다. 그러나 현재 에이전트의 능력이 제한적이기 때문에, 향후 에이전트가 더 강력해질 경우 보안 위협도 증가할 수 있다. 이에 따라 WASP는 향후 공격 기법과 방어 전략 개발을 위한 기초 도구로 활용될 수 있다.

실용적 활용

WASP는 웹 에이전트를 사용하는 금융, 의료, 정부 서비스 등 민감한 분야에서 보안 평가에 활용될 수 있다. 또한, 모델 개발자들이 프롬프트 인젝션에 대한 방어 전략을 설계하고 테스트할 수 있는 표준화된 도구로 사용될 수 있다.