ABSeeker: Training Long-Horizon Search Agents via Answer-Backtracked Credit Assignment

Long-horizon search agents must make multiple sequential actions (steps) to search, retrieve, verify, and integrate evidence to reach a final answer. However, existing methods for training these agents typically treat all steps within a trajectory uniformly during both supervised fine-tuning (SFT) and reinforcement learning (RL), failing to distinguish useful actions from erroneous or redundant ones. In this paper, we propose Answer-Backtracked Credit Assignment (ABC), a fine-grained credit assignment framework for training long-horizon search agents by converting sparse trajectory-level outcomes into dense step-level supervision that rewards useful actions (even in failed trajectories) while suppressing erroneous or redundant actions. Specifically, given a potentially obscure query and its corresponding ground-truth answer, ABC first performs Answer-Backtracked Clue Recovery, which traces back from the answer to recover intermediate clues required to solve the question. It then applies Clue-Anchored Step Scoring to evaluate each search step against these clues, converting sparse binary outcome supervision into dense step-level rewards. Based on these rewards, we develop ABC-SFT, which reweights the loss of each turn, and ABC-GRPO, which uses the step-level scores as rewards in GRPO. Building on this framework, we train ABSeeker based on Qwen3.5-4B with only 8.5k examples. ABSeeker achieves 37.3% on BrowseComp and 39.1% on BrowseComp-ZH. With context management, the scores further improve to 55.3% and 52.9%, respectively, significantly outperforming same-scale (4B) agents and even matching the performance of larger ones (approximately 30B). These results demonstrate the effectiveness of answer-backtracked step-level credit assignment for training long-horizon search agents.

한 줄 요약

ABSeeker는 정답 추적을 기반으로 한 세부 단계 보상 할당을 통해 4B 규모 모델로도 30B 규모 대형 에이전트와 유사한 성능을 달성한 장기 탐색 에이전트이다.

핵심 기여도

**Answer-Backtracked Credit Assignment (ABC)** 프레임워크를 제안하여, 정답을 기반으로 단계별 보상을 할당함.
**ABC-SFT**는 단계별 보상에 따라 손실을 재가중치하는 SFT 알고리즘.
**ABC-GRPO**는 단계별 보상을 GRPO에 통합한 강화 학습 알고리즘.
**ABSeeker**는 Qwen3.5-4B 기반으로 8.5k 예시만으로 훈련되어, BrowseComp-ZH에서 52.9% 성능 달성 (컨텍스트 관리 적용 시).

핵심 아이디어

기존 장기 탐색 에이전트 훈련 방식은 단계별 기여도를 구분하지 않고 동일하게 처리하여, 잘못된 또는 중복된 행동을 억제하지 못하는 문제가 있었다. 이에 반해, ABSeeker는 정답에서 역추적하여 필요한 중간 단서를 복구한 후, 각 단계가 이 단서를 얼마나 잘 발견하고 검증하는지를 평가함으로써, 단계별 보상을 할당한다. 이는 **Answer-Backtracked Clue Recovery**와 **Clue-Anchored Step Scoring**이라는 두 단계를 통해 이루어진다. 특히, **Answer-Backtracked Clue Recovery**는 정답으로부터 필요한 중간 단서(엔티티, 사실, 관계)를 추출하고, **Clue-Anchored Step Scoring**은 각 단계가 이 단서를 발견하거나 오류를 발생시키는지에 따라 보상을 계산한다. 이는 실패한 트레젝토리에서도 유용한 행동을 보상할 수 있는 기반을 제공한다.

기술적 접근법

**Answer-Backtracked Clue Recovery**: 정답에서 역추적하여 필요한 단서(중간 사실, 관계)를 복구.
**Clue-Anchored Step Scoring**: 각 단계를 단서 기반으로 평가하여, 단계별 보상을 생성.
**ABC-SFT**: 단계별 보상에 따라 손실을 재가중치하는 SFT 알고리즘.
**ABC-GRPO**: 단계별 보상을 GRPO에 통합한 강화 학습 알고리즘.
**ABSeeker**: Qwen3.5-4B 기반, 8.5k 예시로 훈련.
**하이퍼파라미터**: 명시되지 않음.

주요 결과

**BrowseComp**: 37.3% (기본), 55.3% (컨텍스트 관리 적용).
**BrowseComp-ZH**: 39.1% (기본), 52.9% (컨텍스트 관리 적용).
**xbench-2505**: 77.0%.
**xbench-2510**: 46.0%.
**GAIA-text**: 81.6%.
**4B 규모 기준**: QUEST-4B, Dr. Venus 등 기존 4B 기반 모델 대비 상당히 우수.
**30B 규모 대비**: Tongyi DeepResearch, OpenSeeker 등 대형 모델과 유사한 성능.

의의 및 한계

ABSeeker는 장기 탐색 에이전트 훈련에서 단계별 보상 할당의 중요성을 입증하며, 정답 기반 역추적을 통해 단계별 평가 기준을 명확히 설정함으로써, 기존 방법보다 훨씬 효과적인 학습이 가능함을 보여준다. 특히, 4B 규모 모델로도 30B 규모 대형 모델과 유사한 성능을 달성한 점은 모델 확장 없이도 성능 향상을 가능하게 하는 기술적 혁신으로 평가된다. 그러나 실험은 4B 모델에만 국한되었으며, 더 큰 모델에서의 효과는 아직 검증되지 않았다. 또한, 정답이 없는 경우나 다중 정답이 존재하는 상황에서는 이 프레임워크의 적용 가능성에 제한이 있을 수 있다.

실용적 활용

ABSeeker는 복잡한 정보 탐색, 웹 검색, 질문 응답 시스템 등에서 유용하게 활용될 수 있다. 특히, 단계별 평가 기반의 학습 방식은 탐색 과정의 투명성과 신뢰성을 높이는 데 기여할 수 있으며, 대규모 모델 없이도 높은 성능을 달성할 수 있어, 자원 제약이 있는 환경에서도 실용적이다.