From Human-Centric to Agentic Code Review: The Impact of Different Generations of Generative AI Technology on Review Quality

Code review helps maintain software quality before code integration, but it also imposes a substantial workload on human reviewers. As generative artificial intelligence becomes part of software development, code review is shifting from a primarily human review process toward AI-supported review processes in which large language model (LLM) reviewers and AI agent reviewers participate alongside human reviewers. However, we still lack empirical evidence on how this transition affects review efficiency and review quality. In this paper, we study 1.02 million reviewed pull requests from 207 GitHub projects that transition across three code review eras: human-centric review, LLM-assisted review, and agentic code review. We identify three AI reviewer adoption practices: Gradual AI Adoption, Rapid LLM Adoption, and Rapid AI Agent Adoption. We further model pull request review discussions as reviewer interaction sequences to characterize how human, LLM, and AI agent reviewers collaborate during the review process. Our results show that agent-involved collaboration patterns, especially reviews initiated by AI agents or involving multiple AI agents, are associated with faster review decisions under Gradual AI Adoption and Rapid AI Agent Adoption. However, these efficiency gains do not translate into better review quality. We also find that review activity and pull request type remain important across eras, while human-AI collaboration patterns become the strongest explanatory factor for review efficiency once LLM and AI agent reviewers participate. These findings provide empirical guidance for designing AI-supported code review processes that improve efficiency without weakening review quality.

한 줄 요약

AI 리뷰 참여가 리뷰 효율성은 향상시키지만 품질 개선으로 이어지지 않음.

핵심 기여도

207개 GitHub 프로젝트의 1.02백만 개 PR을 분석하여 세 가지 리뷰 시대를 비교.
AI 리뷰 참여 방식을 세 가지로 분류: Gradual AI Adoption, Rapid LLM Adoption, Rapid AI Agent Adoption.
AI 에이전트 참여가 리뷰 결정 속도를 빠르게 하지만, 품질 개선은 관찰되지 않음.
인간-AI 협업 패턴이 리뷰 효율성에 가장 큰 영향을 미침.

핵심 아이디어

코드 리뷰는 소프트웨어 품질 유지에 필수적이지만, 인간 리뷰어의 부담이 크다. 생성형 AI 도입으로 리뷰 프로세스가 인간 중심에서 AI 지원 방식으로 전환되고 있으나, 이 전환의 영향은 명확하지 않았다. 본 연구는 GitHub 프로젝트의 실제 리뷰 데이터를 기반으로, 인간, LLM, AI 에이전트 리뷰어가 협업하는 방식을 분석함으로써 AI 도입이 리뷰 효율성과 품질에 미치는 영향을 실증적으로 규명했다. 특히, 리뷰 토론을 리뷰어 상호작용 시퀀스로 모델링하여 협업 패턴을 분석한 점이 핵심적 통찰이다.

기술적 접근법

**데이터**: 207개 GitHub 프로젝트의 1.02백만 개 리뷰드 PR.
**리뷰 시대 분류**: human-centric review, LLM-assisted review, agentic code review.
**AI 리뷰 참여 방식**: Gradual AI Adoption, Rapid LLM Adoption, Rapid AI Agent Adoption.
**분석 방법**: pull request 리뷰 토론을 reviewer interaction sequences로 모델링.
**측정 지표**: review decision speed, review quality, review activity, pull request type.

주요 결과

AI 에이전트 참여가 포함된 협업 패턴은 Gradual AI Adoption과 Rapid AI Agent Adoption에서 더 빠른 리뷰 결정과 연관됨.
그러나 이 효율성 향상은 리뷰 품질 개선으로 이어지지 않음.
리뷰 활동과 PR 유형은 모든 시대에서 중요한 요인.
LLM 및 AI 에이전트 리뷰어 참여 이후, 인간-AI 협업 패턴이 리뷰 효율성의 가장 강력한 설명 변수.

의의 및 한계

본 연구는 AI 도입이 코드 리뷰 효율성에 긍정적 영향을 미친다는 실증적 근거를 제시하며, AI 지원 리뷰 프로세스 설계에 실질적 지침을 제공한다. 특히, 협업 패턴 분석을 통해 인간-AI 상호작용의 중요성을 강조한다. 그러나 리뷰 품질 향상은 AI 참여만으로 달성되지 않으며, 이에 대한 추가 연구가 필요하다. 또한, 분석 대상은 GitHub 기반 오픈소스 프로젝트에 제한되어 있어 일반화 가능성에 한계가 있다.

실용적 활용

AI 에이전트와 LLM 리뷰어를 활용한 협업 리뷰는 소프트웨어 개발 팀에서 리뷰 프로세스의 효율성을 향상시키는 데 유용할 수 있다. 특히, 빠른 결정이 필요한 프로젝트나 대규모 팀에서는 AI 리뷰 참여를 점진적으로 확대하는 방식이 효과적일 수 있다. 그러나 품질 유지 위해서는 인간 리뷰어와의 협업 방식을 체계적으로 설계해야 한다.