Securing the AI Agent: A Unified Framework for Multi-Layer Agent Red Teaming

The fast growth of open-source AI infrastructure, from model serving engines and agent platforms to the Model Context Protocol (MCP) ecosystem and the language models themselves, has outpaced the security tooling available to defend it. We present AI-Infra-Guard, an open-source framework that organizes AI red teaming around a single observation: the attack surface of an AI agent is stratified across layers (infrastructure, protocol/tool, agent behavior, and model), and no single detection paradigm fits all of them. The framework therefore matches a paradigm to each layer, from deterministic rule matching over 75+ AI components and 1{,}400+ vulnerability rules, through LLM-driven agentic auditing of MCP servers and agent-skill packages and multi-turn black-box agent red teaming, to a jailbreak harness with 26+ attack operators over sixteen datasets. To our knowledge it is the only open-source framework to span all of these, including supply-chain auditing of the agent skills that increasingly extend AI agents. We release AI-Infra-Guard as open source so that layer-paradigm matching can serve as a practical foundation for agent security and a shared base for the community to build on.

한 줄 요약

AI-Infra-Guard는 AI 에이전트의 다층 공격 표면을 대상으로 한 오픈소스 레드팀 프레임워크로, 각 계층에 맞는 탐지 패러다임을 적용한다.

핵심 기여도

AI 에이전트의 공격 표면을 4개 계층(infrastructure, protocol/tool, agent behavior, model)으로 구분하고, 각 계층에 맞는 탐지 패러다임을 제시.
75개 이상의 AI 구성요소와 1,400개 이상의 취약점 규칙을 대상으로 한 결정론적 규칙 매칭 모듈 제공.
MCP 서버와 에이전트 스킬 패키지를 대상으로 한 LLM 기반 에이전트 감사 모듈 포함.
16개 데이터셋과 26개 이상의 공격 연산자로 구성된 jailbreak 테스트 환경 구축.

핵심 아이디어

AI-Infra-Guard는 AI 에이전트의 보안 취약점이 단일 계층에 국한되지 않고, 인프라, 프로토콜/도구, 에이전트 행동, 모델 등 4개 계층에 걸쳐 존재한다는 통찰을 바탕으로 설계되었다. 이에 따라 각 계층에 적합한 탐지 패러다임을 적용하는 것이 핵심 아이디어이다. 예를 들어, 인프라 계층은 결정론적 규칙 매칭을, 프로토콜/도구 계층은 LLM 기반 감사를, 에이전트 행동 계층은 다턴(black-box) 레드팀 테스트를, 모델 계층은 jailbreak 테스트를 통해 취약점을 탐지한다. 특히, 에이전트 스킬 공급망을 대상으로 한 감사도 포함되어 있어, 외부 확장 기능의 보안도 커버한다.

기술적 접근법

**Infra Layer**: 75+ AI 구성요소와 1,400+ 취약점 규칙을 대상으로 한 결정론적 규칙 매칭.
**Protocol/Tool Layer**: LLM 기반 감사 모듈로 MCP 서버와 에이전트 스킬 패키지를 감사.
**Agent Behavior Layer**: 다턴(black-box) 레드팀 테스트를 통해 행동 취약점을 탐지.
**Model Layer**: 16개 데이터셋과 26+ 공격 연산자를 사용한 jailbreak 테스트 환경.
워커 에이전트는 웹소켓 채널을 통해 서버와 통신하며, Go와 Python으로 구현된 모듈이 병렬 실행.

주요 결과

AI-Infra-Guard는 4개 계층에 걸친 레드팀 테스트를 지원하며, 공격 표면의 포괄적 보안을 제공.
75개 이상의 AI 구성요소와 1,400개 이상의 취약점 규칙을 기반으로 한 결정론적 탐지가 가능.
LLM 기반 감사 모듈은 MCP 서버와 에이전트 스킬 패키지의 취약점을 식별.
16개 데이터셋과 26개 이상의 공격 연산자를 활용한 jailbreak 테스트 환경 구축.

의의 및 한계

AI-Infra-Guard는 AI 에이전트의 다층 공격 표면을 포괄적으로 보안하는 유일한 오픈소스 프레임워크로, 연구자와 개발자들이 공통 기반 위에서 보안 기술을 발전시킬 수 있는 기회를 제공한다. 특히 Prompt-as-Rule, objective anchoring, scanner self-targeting이라는 3가지 디자인 패턴은 다른 시스템에도 적용 가능하다는 학술적 의의를 지닌다. 그러나, 모든 공격 표면을 커버하는 것은 불가능하며, 새로운 취약점이 지속적으로 등장함에 따라 프레임워크의 확장성과 업데이트가 필요하다는 한계가 있다.

실용적 활용

AI-Infra-Guard는 개발자들이 자체 호스팅된 AI 인프라의 보안 취약점을 탐지하고, 에이전트 스킬 공급망의 취약점을 감사하는 데 활용할 수 있다. 특히, 소규모 팀이나 보안 전문 지식이 부족한 조직에서 효과적으로 사용할 수 있으며, AI 에이전트의 안정적 운영과 신뢰성 확보에 기여할 수 있다.