RealSWE: A Compositional Evaluation of Coding Agents under Realistic User Requests

Coding agents are now commonly evaluated on the SWE-bench family of benchmarks, whose tasks are built from curated GitHub issues: long, structured, and information-rich. Real user requests, however, are typically far shorter and less structured. To characterize this gap, we define a six-category information taxonomy and four dimensions of linguistic style, and apply them to real user prompts from SWE-chat and problem statements from SWE-bench Verified and Pro. We find that requests carrying only a problem statement, alone or with limited additional context, account for 88% of real prompts but just 7% of benchmark problems. Furthermore, 87% of real prompts are casually written whereas 94% of benchmark problems are formal. Guided by these observations, we introduce RealSWE, 381 multi-variant task families derived from SWE-bench Verified and Pro. Variants within each family share the same underlying task and gold patch while differing only in information composition and linguistic style. Evaluating seven contemporary LLMs with RealSWE, we find that i) realistic inputs reduce resolution rates by 6.4 pp on average and can change model rankings. Controlled analysis further shows that ii) including Desired Behavior and Motivation significantly affects performance, whereas Environment Information and Reproduction Steps merely add tokens without measurable benefit; iii) linguistic style has only small, model-dependent effects. These findings provide actionable guidance for users and agents: explicitly stating the desired behavior and motivation, which most real prompts omit, substantially improves the LLM's software engineering performance.

한 줄 요약

RealSWE는 실제 사용자 요청에 기반한 코드 생성 에이전트 평가 프레임워크로, 정보 구성과 언어 스타일의 차이를 분석하고 이를 기반으로 381개의 다중 변형 태스크를 제공한다.

핵심 기여도

실제 사용자 요청과 SWE-bench 문제의 정보 구성 차이를 88% vs 7%로 정량화.
언어 스타일 차이를 87% 비공식적 vs 94% 공식적으로 분석.
RealSWE-bench와 RealSWE-framework를 개방, 381개의 다중 변형 태스크를 제공.
7개 LLM 평가 결과, 실제 입력은 해결률을 평균 6.4pp 낮추고 모델 순위를 바꾼다.

핵심 아이디어

기존 SWE-bench는 GitHub 이슈를 기반으로 구성된, 정보가 풍부하고 구조화된 문제를 사용하지만, 실제 사용자 요청은 짧고 비구조화된 경우가 많다. 이를 명확히 비교하기 위해, 연구팀은 정보 분류 체계(6개 카테고리)와 언어 차원(4개 차원)을 정의하고, SWE-chat 데이터와 SWE-bench 문제를 분석했다. 그 결과, 실제 요청의 88%는 단순한 문제 설명만 포함하고, 87%는 비공식적 언어를 사용하는 것으로 나타났다. 이에 따라, 동일한 문제를 다른 정보 구성과 언어 스타일로 변형한 381개의 다중 변형 태스크를 구성한 RealSWE를 제안했다. 이는 실제 사용자 요청의 특성을 반영한 평가 기준을 제공하며, 코드 생성 에이전트의 실제 성능을 더 정확히 평가할 수 있게 한다.

기술적 접근법

**정보 분류 체계**: 6개 카테고리(문제 설명, 원인, 환경 정보, 재현 단계, 원하는 동작, 동기)로 구성.
**언어 차원**: 공식성, 명령형 문장 사용 여부, 길이, 구조화 정도.
**RealSWE 구성**: SWE-bench Verified와 Pro 문제를 기반으로, 동일한 태스크를 다른 정보 구성과 언어 스타일로 변형한 381개의 다중 변형 태스크.
**평가 방식**: 7개 LLM을 대상으로, RealSWE-bench(고정 평가 세트)와 RealSWE-framework(사용자 정의 가능)를 통해 제어 실험 수행.
**제어 실험**: 누적 제거 방식(ablation)으로 정보 요소를 하나씩 제거하며 성능 변화 분석.

주요 결과

실제 요청 입력은 평균적으로 해결률을 6.4pp 낮춘다.
**Desired Behavior**와 **Motivation** 포함 시 성능 향상: 버그 수정에서는 +8pp (17% 상대적 개선), 기능 요청에서는 +7pp.
**Environment Information**과 **Reproduction Steps**은 입력 토큰만 증가시키며 성능 개선 없음.
언어 스타일 변화는 모델에 따라 작게 영향을 미침.
SWE-bench 문제는 94%가 공식적 언어를 사용하지만, 실제 요청은 87%가 비공식적 언어 사용.

의의 및 한계

RealSWE는 실제 사용자 요청과 기존 평가 문제 간의 차이를 정량적으로 분석하고, 이를 기반으로 코드 생성 에이전트의 실제 성능을 평가할 수 있는 체계적인 프레임워크를 제공한다. 특히, 사용자가 제공하는 정보가 모델 성능에 미치는 영향을 정확히 파악할 수 있어, 사용자와 에이전트 간의 소통 방식 개선에 기여할 수 있다. 그러나 GPT-5.6, Opus 5, Kimi K3 등 최신 최고 성능 모델은 평가 대상에서 제외되었으며, 일부 실험은 SWE-chat 데이터에 의존하므로 일반화 가능성에 한계가 있을 수 있다.

실용적 활용

RealSWE는 코드 생성 에이전트의 평가 및 개선에 활용될 수 있으며, 특히 사용자 인터페이스 설계 시, **Desired Behavior**와 **Motivation**을 명시적으로 요청하는 것이 성능 향상에 효과적임을 보여주므로, 실제 개발 환경에서 사용자 피드백 수집 방식을 개선하는 데 활용 가능하다. 또한, 개방된 평가 프레임워크를 통해 연구자들이 다양한 조건에서 모델 성능을 비교할 수 있다.