FAPO: Fully Autonomous Prompt Optimization of Multi-Step LLM Pipelines

Multi-step LLM pipelines fail through interactions among retrieval, reasoning, and formatting steps, so prompt-only optimization can miss bottlenecks in the chain. We present FAPO (Fully Autonomous Prompt Optimization), a framework that lets Claude Code optimize an LLM pipeline inside a standardized codebase. FAPO evaluates a pipeline, inspects intermediate steps, diagnoses failures, proposes scoped changes, and validates variants repeatedly to optimize against a score function. It first tries prompt edits and, only when prompt optimization appears insufficient, changes chain structure within the permitted scope when attribution identifies a structural bottleneck. Across six benchmarks and three task models, FAPO beats the baseline GEPA in 15 of 18 model-benchmark comparisons. In 11 model-benchmark comparisons, FAPO wins with non-overlapping mean pm trial-standard-deviation ranges, and the mean FAPO-GEPA gain is +14.1 pp. In the six HoVer and IFBench comparisons where prompt-first search escalated to structural changes, FAPO wins all six with a mean gain of +33.8 pp. FAPO also improves performance on security tasks: on CTIBench-RCM, a security CVE-to-CWE task, prompt-only FAPO lifts test accuracy by +4.0 pp on GPT-5, +7.1 pp on Foundation-Sec-8B-Instruct, and +2.0 pp on Foundation-Sec-8B-Reasoning. These results position FAPO as a state-of-the-art pipeline optimization technique for both general-purpose and security-focused tasks.

한 줄 요약

FAPO는 Claude Code 기반으로 LLM 파이프라인을 자동 최적화하는 프레임워크로, 18개 모델-베이스라인 비교 중 15개에서 GEPA를 능가한다.

핵심 기여도

Claude Code 기반 파이프라인 최적화 기술로, 프롬프트 편집 후 구조 변경까지 확장 가능.
6개 벤치마크, 3개 태스크 모델에서 15/18 모델-베이스라인 비교에서 GEPA를 상회.
CTIBench-RCM 보안 태스크에서 GPT-5 기준 +4.0pp, Foundation-Sec-8B-Instruct 기준 +7.1pp 성능 향상.
LangGraph를 사용한 상태유지 그래프 기반 파이프라인 표현 방식 도입.

핵심 아이디어

기존 프롬프트 최적화는 단일 단계에만 집중하여, 검색, 추론, 포맷팅 등 다중 단계 간 상호작용으로 발생하는 실패를 놓칠 수 있다. FAPO는 Claude Code를 활용해 파이프라인 내부를 점검하고, 실패 원인을 분석한 후 범위 내에서 프롬프트 편집 또는 구조 변경을 제안하는 반복적 최적화 프레임워크이다. 특히, LangGraph를 사용해 파이프라인을 상태유지 그래프로 표현함으로써 실패 원인을 추적하고, 최적화를 반복적으로 검증한다. 실패 원인이 프롬프트 편집으로 해결되지 않으면, 구조 변경으로 확장하며, 이는 기존 GEPA와 달리 파이프라인 전체를 고려한 접근법이다.

기술적 접근법

**프레임워크**: Claude Code 기반 최적화 루프, LangGraph를 사용한 상태유지 그래프 표현.
**최적화 단계**: 파이프라인 평가 → 중간 단계 점검 → 실패 진단 → 범위 제한 변경 제안 → 검증 반복.
**제안 조건**: 프롬프트 최적화가 부족하다고 판단되면, 구조 변경으로 확장 (attribution 기반).
**제약**: 테넌트 정의된 가드레일 내에서만 변경 가능.
**실험 환경**: GPT-4.1-mini, GPT-5.4-mini, Gemma 3-12B 모델 사용.

주요 결과

6개 벤치마크, 3개 모델에서 15/18 모델-베이스라인 비교에서 FAPO가 GEPA를 능가.
11개 비교에서 평균 +14.1pp 개선, 6개 비교에서 +33.8pp 개선 (HoVer, IFBench).
CTIBench-RCM 보안 태스크에서 GPT-5 기준 +4.0pp, Foundation-Sec-8B-Instruct 기준 +7.1pp, Foundation-Sec-8B-Reasoning 기준 +2.0pp 향상.
HoVer에서는 3-hop 검색 체인을 4–5-hop으로 확장, IFBench에서는 결정론적 포스트-프로세싱 노드 추가로 성능 향상.

의의 및 한계

FAPO는 다중 단계 LLM 파이프라인 최적화에서 기존 프롬프트 최적화의 한계를 극복하고, 구조적 변경을 포함한 종합적 접근법을 제시한다. 특히, 보안 태스크에서도 성능 향상을 입증하여 실용적 가치가 높다. 그러나 AIME 벤치마크에서는 GEPA가 FAPO를 앞선 경우가 있으며, 이는 작은 샘플 크기로 인한 과적합 가능성으로 설명된다. 또한, Claude Code에 의존하는 점은 다른 모델로의 확장성을 제한할 수 있다.

실용적 활용

FAPO는 보안 분석, 기업 분석, 지식 작업 등에서 사용되는 복잡한 LLM 파이프라인의 신뢰성과 성능을 향상시키는 데 활용 가능하다. 특히, CTIBench-RCM과 같은 보안 태스크에서의 성능 향상은 사이버 보안 분야에서 실용적 적용 가능성을 제시한다.