Automated checking pipelines increasingly place one language model as the checker and another (or the same one) as the fixer. We ask whether that wiring changes what the checker reports. Measuring false alarms on human-verified-correct ProcessBench traces with the present task held byte-identical, we find that a completed audit -> repair episode already in the model's context lowers false alarms in 15 of 15 model x wording combinations, by 2.8 to 11.5 percentage points against a length-matched non-audit control, a 9 to 25% reduction relative to that control. The direction contradicts what the accumulated-message literature predicts: an episode whose audit reported an error lowers false alarms further still, at all five wordings on the model where that manipulation lands cleanly, though a negativity asymmetry predicts more flagging. Decomposing the episode finds repair content and audit verdict complementary: different components carry the effect on different model families. Signal-detection analysis locates the change in the threshold rather than in discrimination -- the criterion moves in 15 of 15 combinations and survives correction in 13 while d' survives in none, though the d' test is half as sensitive by construction -- and a hand audit of 50 false alarms finds 82% simply wrong, so at this operating point the shift need not be harmful. With reasoning enabled the effect keeps its relative size on both models tested, and the threshold reading holds there too.
한 줄 요약
LLM 체커가 이전에 동일한 작업을 수정한 경우, 오류 신고율이 2.8~11.5%포인트 감소한다.
핵심 기여도
- 15개의 모델 × 표현 조합에서, 이전에 감사 → 수정 과정이 포함된 컨텍스트가 오류 신고율(FAR)을 2.8~11.5%포인트 낮춘다.
- 오류가 감사 단계에서 보고된 경우, FAR이 추가로 감소하며, 이는 기존의 부정성 편향 이론과 반대되는 결과이다.
- 신호 탐지 분석에서, 이 변화는 구분 능력(d')이 아닌 판단 기준(threshold)의 이동으로 설명된다.
- 50개의 오류 신고 중 82%는 잘못된 신고로, 이 기준 이동이 현재 운영점에서는 해롭지 않을 수 있다.
핵심 아이디어
기존 연구는 이전 컨텍스트가 판단 기준을 변화시킨다고 가정하지만, 이 연구는 감사 → 수정 과정이 포함된 컨텍스트가 체커의 판단 기준을 완화시킨다는 점을 밝혔다. 이는 감사 단계에서 오류가 보고된 경우에도 적용되며, 이는 부정성 편향 이론과 반대되는 결과이다. 연구는 ProcessBench 데이터셋을 사용하여 감사와 수정 과정을 분리하고, 표현 방식과 모델 종류에 따른 영향을 비교했다. 신호 탐지 이론을 통해, 이 변화가 구분 능력이 아닌 판단 기준(threshold)의 이동임을 입증했다.
기술적 접근법
- **데이터셋**: ProcessBench (인간 검증된 정확한 추적)
- **모델**: 15개의 모델 × 표현 조합
- **메트릭**: 오류 신고율 (FAR)
- **실험 설계**: 감사 → 수정 과정이 포함된 컨텍스트와, 비감사 컨텍스트를 비교
- **분석 방법**: 신호 탐지 이론 (d', threshold 분석)
- **추가 분석**: 50개의 오류 신고 수동 검토
주요 결과
- 감사 → 수정 과정이 포함된 컨텍스트는 15개의 모델 × 표현 조합에서 FAR을 2.8~11.5%포인트 낮춘다.
- 비감사 컨텍스트 대비 9~25% 감소.
- 감사 단계에서 오류가 보고된 경우, FAR이 추가로 감소 (모든 5개 표현 조합에서).
- 신호 탐지 분석에서 threshold 이동이 15/15 조합에서 발생, d' 변화는 없음.
- 50개의 오류 신고 중 82%는 잘못된 신고로, 이 기준 이동이 현재 운영점에서는 해롭지 않을 수 있음.
의의 및 한계
이 연구는 감사-수정 파이프라인의 구성이 체커의 판단 기준에 영향을 미친다는 점을 밝혀내며, 기존 이론과 반대되는 결과를 제시한다. 이는 실제 시스템에서 오류 신고를 줄이는 효과가 있지만, 판단 기준이 자동으로 이동한다는 점에서 주의가 필요하다. 한계로는, 이 효과가 모든 운영점에서 유리하지 않을 수 있으며, 판단 기준 이동이 의도적으로 요청되지 않았다는 점이 지적된다.
실용적 활용
이 연구는 코드 검토, 증명 평가, 추론 추적 검증 등 LLM 기반 자동 검사 시스템에 적용 가능하다. 감사-수정 파이프라인을 설계할 때, 체커의 판단 기준이 이전 작업에 영향을 받을 수 있음을 고려해야 한다.