ActReview: Rebuttal-Guided Training Data and Rubric Rewards for Actionable Peer Review Generation

As LLMs are increasingly used for pre-submission self-review, there is growing demand for feedback that not only identifies weaknesses but also guides authors toward concrete revisions. We study this as Actionable Peer-review Generation and decompose it into two subtasks: diagnostic claim generation and revision suggestion generation. We introduce ActReview, a rebuttal-guided post-training framework that connects paper-specific diagnoses to concrete, grounded revision plans. Our central insight is that author rebuttals reveal plausible actions for addressing reviewer concerns and can therefore provide latent supervision for revision-oriented feedback. From real review-rebuttal threads on OpenReview, we construct ActReview-40K by aligning reviewer weaknesses with author responses and grounding the resulting feedback in localized paper evidence. We post-train Qwen3-8B-Base with multi-task supervised fine-tuning followed by GRPO using candidate-aware, weakness-specific rubric rewards. We also introduce ActReview-Bench, a human-curated benchmark of 1,000 instances for evaluating diagnostic quality and revision usefulness. Experiments show that ActReview outperforms prior specialized review-generation models on actionability and grounding while remaining competitive with strong prompt-based LLMs. Human evaluation confirms improved revision usefulness while revealing a remaining gap in technical accuracy, and additional analyses support generalization to held-out papers and robustness across independent judges.

한 줄 요약

ActReview는 저자 반박을 활용한 행동 가능한 피어 리뷰 생성을 위한 후-트레이닝 프레임워크로, 진단 생성과 수정 제안 생성을 구조화하여 리뷰 품질을 향상시킨다.

핵심 기여도

ActReview-40K: OpenReview의 실제 리뷰-반박 스레드를 기반으로 구성된 4만 개의 후-트레이닝 데이터셋.
ActReview-Bench: 1,000개 인스턴스로 구성된 인간 검토자에 의해 정리된 벤치마크.
GRPO(Gradient-based Reward Policy Optimization)와 후-트레이닝을 결합한 Qwen3-8B-Base 모델 최적화.
수정 제안의 실행 가능성(Actionability)과 근거(Grounding) 측면에서 기존 리뷰 생성 모델을 초과.

핵심 아이디어

ActReview는 기존 LLM 기반 리뷰 시스템이 주로 문제를 진단하는 데 그치는 반면, 저자 반박을 통해 실제 수정 경로를 제시하는 것이 중요하다는 통찰을 바탕으로 설계되었다. 저자들이 리뷰에 대해 제시한 반박은 수정 가능한 행동을 암시적으로 보여주므로, 이를 **latent supervision**으로 활용할 수 있다. 이 아이디어는 **Actionable Peer-review Generation** 문제를 **진단 클레임 생성**과 **수정 제안 생성**의 두 하위 작업으로 분리하는 데 기여한다.

ActReview는 **후-트레이닝**(post-training) 프레임워크로, **Qwen3-8B-Base** 모델을 **ActReview-40K** 데이터셋에 기반하여 **multi-task supervised fine-tuning**과 **GRPO**를 사용해 최적화한다. 특히, **candidate-aware, weakness-specific rubric rewards**를 도입하여, 모델이 특정 약점에 대한 구체적 수정 계획을 생성하도록 유도한다.

기술적 접근법

**ActReview-40K**: OpenReview의 리뷰-반박 스레드에서 약점과 저자 반응을 정렬하여 구성한 후-트레이닝 데이터.
**Qwen3-8B-Base** 모델을 **multi-task supervised fine-tuning**으로 초기 조정.
GRPO를 사용한 최적화: **candidate-aware**, **weakness-specific rubric rewards**를 기반으로 리뷰 생성 품질 향상.
**ActReview-Bench**: 1,000개 인스턴스로 구성된 인간 검토자에 의해 정리된 벤치마크.
**Localized paper evidence retrieval**: 특정 약점에 대한 리뷰 생성 시, 전체 논문이 아닌 해당 부분만 추출하여 훈련.

주요 결과

ActReview는 ActReview-Bench에서 기존 리뷰 생성 모델보다 **Actionability**와 **Grounding** 측면에서 우수한 성능을 보임.
인간 평가에서 **수정 제안의 유용성**(Revision Usefulness)이 향상되었으며, **Technical Accuracy**에서 약간의 개선이 필요한 것으로 나타남.
**ActReview-RL**은 GPT-5.4 기반의 LLM-judge 평가에서 50% 이상의 adjusted win rate를 기록하며 경쟁력 있음.
**Ablation study**에서 **rebuttal-enhanced training data**가 Task 2에서 가장 큰 성능 향상을 기록함.

의의 및 한계

ActReview는 리뷰 생성을 단일 작업이 아닌 **진단**과 **수정 제안**의 두 단계로 구조화함으로써, 더 구체적이고 실행 가능한 피드백을 가능하게 한다는 점에서 학술적 의의가 있다. 또한, **저자 반박**(rebuttal)을 활용한 **latent supervision**은 기존 리뷰 생성 데이터의 한계를 보완하는 새로운 접근법이다.

하지만, **Technical Accuracy** 측면에서 여전히 개선이 필요하며, 일부 인스턴스에서 **rebuttal span**이 간접적 증거만 제공하여 수정 제안이 명확하지 않은 경우가 발생한다. 또한, **location validity**가 실패하는 경우도 보고되어, 수정 위치의 구체성 확보가 여전히 과제이다.

실용적 활용

ActReview는 논문 제출 전 저자가 구체적인 수정 방향을 얻기 위한 **AI 기반 자가 평가 도구**로 활용 가능하다. 또한, **학술 리뷰 시스템**에서 보조 리뷰 생성을 위한 **LLM 기반 지원 시스템**으로도 적용 가능하며, **학술 저술 교정 및 피드백 자동화** 분야에서 활용성이 높다.