SWE-Review: Closing the Loop on Issue Resolution with Agentic Code Review

Coding agents increasingly generate pull requests (PRs) for real-world software issues, yet one-shot PR generation remains open-loop: the PR is proposed without systematic review, diagnosis, or revision. We introduce SWE-Review, a framework for closing this loop with agentic code review. Given an issue and an AI-generated PR, a reviewer agent explores the repository, decides whether the PR should be accepted, and provides structured feedback for revision. We evaluate this setting with our proposed SWE-Review-Bench to measure both review correctness and downstream revision usefulness. We further curate SWE-Review-Traj dataset to study broader applications of agentic review and fill the data-scarcity gap for open reviewer training. Experiments show that agentic review continuously improves PRs through a generate-review-revise loop, outperforms single-turn fixed-context review in both decision accuracy and resolve rate after revision, transfers beyond review to improve issue-resolution models, and enables effective and efficient test-time scaling. These results position agentic code review as a practical mechanism for moving AI coding agents from one-shot PR generation toward closed-loop issue resolution.

한 줄 요약

SWE-Review는 AI 생성 PR에 대한 에이전트 리뷰를 통해 닫힌 루프 이슈 해결 프로세스를 구현하는 프레임워크이다.

핵심 기여도

SWE-Review 프레임워크를 제안하여 AI 생성 PR에 대한 리뷰, 진단, 수정을 반복하는 닫힌 루프를 구현.
SWE-Review-Bench(1,384개 PR)와 SWE-Review-Traj(8,914개 리뷰 트레 jury) 데이터셋을 구축하여 리뷰 평가 및 훈련에 활용.
Qwen3-30B-A3B 모델에서 리뷰 후 해결률이 27.5% → 56.9%로 향상됨.
리뷰 트레 jury 기반 SFT로 리뷰어의 Completion Rate가 4% → 71–84%로, Decision Accuracy가 무작위 수준 → 67–72%로 향상됨.

핵심 아이디어

기존 AI 생성 PR은 단일 스탭으로 끝나는 개방 루프 시스템이었으나, SWE-Review는 리뷰어 에이전트가 리포지토리 탐색, 리뷰 결정, 수정 진단을 수행하는 닫힌 루프를 도입함으로써 이슈 해결의 신뢰성을 높인다. 리뷰는 단순한 의견 제시가 아닌, 이슈 해결의 핵심 메커니즘으로 재정의된다. 리뷰어는 이슈, PR, 리포지토리의 상호작용을 고려하여 이진 결정(수락/변경 요청)과 구조화된 진단을 제공하며, 이는 수정 과정을 유도한다.

기술적 접근법

**SWE-Review 프레임워크**: 리뷰어 에이전트가 AI 생성 PR을 평가하고, 수정 진단을 제공.
**SWE-Review-Bench**: 500개 SWE-bench Verified 이슈에서 1,384개 PR 생성.
**SWE-Review-Traj**: 8,914개 리뷰 트레 jury를 수집하여 리뷰어 훈련에 활용.
**평가 지표**: Completion Rate (CR), Decision Accuracy (DA), Resolve Rate after Revision (RRR).
**훈련 방법**: SWE-Review-Traj 기반의 SFT와 mixed training을 통해 리뷰어 성능 향상.

주요 결과

Qwen3-30B-A3B 모델에서 리뷰 후 해결률이 27.5% → 56.9%로 향상됨.
Qwen3-Coder-30B-A3B 모델에서 50.9% → 68.8%로, GLM-5 모델에서 72.2% → 75.4%로 향상됨.
SWE-Review-Traj 기반 SFT로 리뷰어의 Completion Rate가 4% → 71–84%, Decision Accuracy가 무작위 → 67–72%로 향상됨.
4회 반복 리뷰 후 해결률이 22.9% → 38.4%로 증가함.

의의 및 한계

SWE-Review는 AI 생성 PR의 단일 스탭 생성에서 닫힌 루프 이슈 해결로의 전환을 가능하게 하며, 리뷰를 단순 품질 게이트가 아닌 핵심 메커니즘으로 재정의한다. 특히, 리뷰 트레 jury를 활용한 훈련은 리뷰어 성능을 크게 향상시키며, 테스트 시스템 확장에도 효과적이다. 그러나 현재 데이터셋은 특정 PR 생성자에 의존적이며, 다양한 리뷰어 아키텍처에 대한 평가가 부족하다는 한계가 있다.

실용적 활용

SWE-Review는 소프트웨어 엔지니어링 분야에서 AI 에이전트의 신뢰성 있는 이슈 해결을 지원하며, CI/CD 파이프라인, 오픈소스 프로젝트 관리, 코드 품질 검증 등에 적용 가능하다. 특히, 리뷰 트레 jury를 활용한 훈련은 리뷰어 모델의 확장성과 효율성을 높일 수 있다.