CyberFactory: Scaling Cyber Security Capabilities with Instances from the Wild

As large language models (LLMs) continue to advance in coding capabilities, their potential in cybersecurity has drawn increasing research attention, with closed-source LLMs (e.g., Mythos) delivering advanced cybersecurity capabilities. However, existing open-source efforts remain limited: frontier open-weight models do not provide reproducible cybersecurity training solutions, open-source training solutions focus on isolated tasks and lack scalable agentic data, and scaling agentic rollouts requires strong domain priors. In this work, we introduce CyberFactory, a unified open-source framework that connects data construction, trajectory synthesis, and model training across proof-of-concept (PoC) generation, vulnerability patching, and cybersecurity question answering (CyberQA). CyberFactory transforms public vulnerability artifacts, including CVEs from the wild, into executable and verifiable task instances. It further uses a reusable vulnerability-analysis skill to guide the teacher through source inspection, problem solving with domain prior, and evidence-based validation. The resulting supervision is agentic: the model interacts with tools and target environments and revises its solutions according to execution feedback. Using these trajectories, we train and release \modelname\emph{Aegis is, in Greek mythology, the protective shield of Zeus and Athena; the name reflects the model's defensive, security-oriented purpose.}, which internalizes the skill-guided procedure without requiring the skill at inference time. On CyberGym, \modelname reaches 52.4% Pass@1 under a one-hour budget, improving over its Qwen~3.5 base model by +22.8 points and outperforming the evaluated general-purpose backbones under the same scaffold.

한 줄 요약

CyberFactory는 오픈소스 보안 모델 OpenAegis를 훈련하기 위한 통합 프레임워크로, 58.1% Pass@1 성능을 기록했다.

핵심 기여도

**CyberFactory**: 보안 모델 훈련을 위한 통합 오픈소스 프레임워크로, 데이터 생성, 트래젝토리 합성, 모델 훈련을 연결한다.
**OpenAegis**: Qwen 3.5 기반 모델로, 58.1% Pass@1 성능을 기록하며 GLM 5.2 대비 +14.8 포인트 개선.
**재사용 가능한 취약점 분석 기술**: 도메인 지식을 바탕으로 트래젝토리 생성을 안내하며, 추론 시에는 필요하지 않다.
**실행 가능한 CVE 인스턴스 생성**: 실제 취약점 데이터(CVE)를 기반으로 실행 및 검증 가능한 작업 인스턴스를 생성한다.

핵심 아이디어

기존 오픈소스 보안 모델 훈련은 단일 작업에 집중하거나, 확장 가능한 에이전트 데이터가 부족한 문제가 있었다. CyberFactory는 이 문제를 해결하기 위해 **공개된 취약점 아티팩트**(CVE 등)를 **실행 가능한 작업 인스턴스**로 변환하고, **재사용 가능한 취약점 분석 기술**(source inspection, domain-guided exploration, evidence-based validation)을 통해 **에이전트적 감독**(agentic supervision)을 생성한다. 이 감독은 도구와 대상 환경과 상호작용하며 실행 피드백에 따라 해결책을 수정한다. 학습 모델은 이 과정을 내재화하여 추론 시에는 기술 없이도 보안 분석 절차를 수행할 수 있다.

기술적 접근법

**데이터 생성**: CVE 아티팩트를 기반으로 **PoC 생성, 패치 생성, CyberQA** 작업 인스턴스를 생성.
**트래젝토리 합성**: 취약점 분석 기술을 사용해 도구와 상호작용하며 생성된 트래젝토리.
**모델 훈련**: 생성된 트래젝토리를 기반으로 **OpenAegis** 훈련.
**하이퍼파라미터**: 1시간 예산 내에서 Pass@1 지표 사용.
**도메인 지식**: source inspection, domain-guided exploration, evidence-based validation 절차 포함.

주요 결과

**CyberGym 벤치마크**: OpenAegis는 1시간 예산 내에서 58.1% Pass@1 성능을 기록.
**기반 모델 대비 개선**: Qwen 3.5 대비 +28.5 포인트, GLM 5.2 대비 +14.8 포인트, Kimi K2.7 대비 +6.4 포인트.
**트래젝토리 분석**: OpenAegis는 기술 없이도 prior-guided workflow를 재현하며, 도구 호출 수를 줄이고 체계적으로 검증을 수행.

의의 및 한계

CyberFactory는 보안 분야에서 **재현 가능한 오픈소스 훈련 파이프라인**을 제공하며, 기존 단일 작업 중심 접근의 한계를 극복한다. OpenAegis는 기술 없이도 보안 분석 절차를 내재화하여, 추론 효율성과 정확도를 동시에 높인다. 그러나 현재 평가는 **가용 CVE 아티팩트, 벤치마크 커버리지, 1시간 실행 예산**에 제한된다. 일부 작업은 **수작업 입력 생성**이 필요하며, 퍼즈 기반 전략만으로는 해결되지 않는 경우도 있다.

실용적 활용

CyberFactory는 **오픈소스 보안 모델 훈련**, **취약점 자동 분석**, **보안 QA 시스템 개발** 등에 활용 가능하다. 특히, **소프트웨어 보안 검증**, **보안 연구**, **자동 패치 생성** 분야에서 실용적 가치가 높다.