Iris: Climbing to the Search Frontier

We present Iris-mini and Iris-pro, two search agents trained at the 35B-A3B and 397B-A17B scales, together with the data pipeline and training recipe behind them. Tasks are reverse-constructed from the hyperlink structure of a web corpus: we author multi-hop chains over an entity graph distilled from a seed page and its out-links, rewrite every non-answer entity into a descriptive reference so that no clue can be resolved by string matching, and admit only questions that a reference model fails closed-book yet solves once the supporting evidence is supplied. These questions are then turned into trajectories, which are filtered at both the trajectory and the turn level before SFT. The policy is then optimized by RL against live search, with the reward judge and the observation summarizer served inside the training cluster, and with over-long rollouts interrupted at the request level and resumed from their committed prefix at the next step. We alternate the two stages in a procedure we call SFT-RL climbing, returning the hardest solved and most efficient rollouts of each RL round to the next supervised pass. Because inference-time context management is worth more on these benchmarks than most reported differences between systems, we evaluate every benchmark both with and without it, holding the tool set, the context limit, and the judge fixed. All results come from a single ReAct agent, with no sub-agents and no test-time verification. With management enabled, on BrowseComp, BrowseComp-ZH, DeepSearchQA, and HLE the two models reach $82.2/84.8/86.9/52.3$ and $88.6/85.1/92.9/56.4$, the strongest overall results among open-source search agents in their respective parameter ranges. We plan to release the model weights together with the complete recipe for data construction, training, and evaluation.

한 줄 요약

Iris-mini와 Iris-pro는 35B-A3B와 397B-A17B 규모로 학습된 검색 에이전트로, SFT-RL climbing을 통해 강력한 성능을 달성했다.

핵심 기여도

Iris-mini와 Iris-pro는 각각 35B-A3B와 397B-A17B 규모로 학습된 검색 에이전트로, SFT-RL climbing 절차를 통해 최적화됨.
데이터 생성 파이프라인에서 entity graph 기반 multi-hop task를 자동 생성하고, non-answer entity를 기술적 참조로 재작성하여 string matching을 방지함.
RL 최적화 시 live search에 대응하며, reward judge와 observation summarizer를 training cluster 내부에 구현함.
모델 가중치와 데이터 생성, 학습, 평가 파이프라인을 공개할 계획.

핵심 아이디어

Iris 시스템은 기존 검색 에이전트가 단순히 추론 시 기술적 보조 도구에 의존하는 문제를 해결하기 위해, 학습 단계부터 CM(컨텍스트 관리)의 영향을 분리하고 모델 자체의 검색 능력을 강화하는 접근을 채택했다. 핵심 아이디어는 다음과 같다:

1. **Multi-hop task 생성**: 웹 그래프 구조에서 entity graph를 추출하고, seed page와 out-link를 기반으로 multi-hop chain을 생성함. 이 과정에서 non-answer entity는 기술적 참조로 재작성되어 string matching을 방지함.
2. **SFT-RL climbing**: SFT와 RL을 반복적으로 결합하여, RL 단계에서 발견된 성공적인 행동을 다음 SFT 단계로 피드백하여 정제된 정책을 학습함.
3. **Context management 분리 평가**: CM을 포함한 vs. 미포함한 두 가지 추론 환경에서 동일한 평가 설정을 유지하며, CM의 영향을 정량적으로 분석함.

이러한 접근은 기존 연구가 CM을 단순히 추론 시 기술적 보조로 간주한 것과 달리, CM을 추론 시스템의 핵심 구성 요소로 인식하고, 모델 학습 단계부터 이를 고려하는 새로운 패러다임을 제시한다.

기술적 접근법

**데이터 생성**: 웹 코퍼스의 하이퍼링크 구조를 기반으로 entity graph를 추출하고, multi-hop chain을 생성함. non-answer entity는 기술적 참조로 재작성됨.
**SFT 데이터 필터링**: 강력한 teacher 모델을 통해 생성된 trajectory를 trajectory-level과 turn-level에서 필터링하여 품질 높은 학습 데이터를 확보함.
**RL 최적화**: live search에 대응하며, reward judge와 observation summarizer를 training cluster 내부에 구현함. over-long rollouts는 요청 수준에서 중단되고, 다음 단계에서 이전 커밋된 prefix에서 재개됨.
**SFT-RL climbing**: SFT와 RL을 반복적으로 결합하여, RL 단계에서 발견된 성공적인 rollouts를 다음 SFT 단계로 피드백함.
**CM 평가**: CM 포함/미포함 두 가지 환경에서 평가를 수행하며, tool set, context limit, judge를 일관되게 유지함.

주요 결과

**CM 포함 시**: Iris-mini는 BrowseComp(82.2), BrowseComp-ZH(84.8), DeepSearchQA(86.9), HLE(52.3)에서, Iris-pro는 각각 88.6, 85.1, 92.9, 56.4를 달성함.
**CM 미포함 시**: Iris-mini는 BrowseComp(64.7), BrowseComp-ZH(72.3)에서 기존 모델인 FORT-Searcher(55.9, 62.1), OpenSeeker-v2(46.0, 58.1), REDSearcher(42.1, 49.8)를 상회함. Iris-pro는 각각 7.9, 4.5 포인트 더 높은 성능을 보임.
**CM의 효과**: Iris-mini는 CM을 사용할 때 최대 21.2 포인트, Iris-pro는 최대 12.8 포인트 개선됨.

의의 및 한계

Iris 시스템은 기존 검색 에이전트가 추론 시 CM을 단순히 보조 기술로 사용하는 문제를 해결하고, 모델 학습 단계부터 CM의 영향을 분리하여 모델 자체의 검색 능력을 강화하는 새로운 접근법을 제시한다. 특히, SFT-RL climbing을 통해 학습-추론 사이의 피드백 루프를 구축함으로써, RL 단계에서 발견된 성공적인 행동을 SFT 단계로 전달하여 정책을 정제하는 점이 학술적으로 중요한 기여이다.

그러나, CM을 사용할 경우 추가적인 추론 비용이 발생하며, retry 전략은 성능 향상에 비해 계산 비용이 높아 실용적 적용 시 한계가 있을 수 있다. 또한, 모델 규모가 커지면 CM의 효과가 상대적으로 줄어들어, 모델 크기와 CM 효과 간의 관계를 더 깊이 탐구할 필요가 있다.

실용적 활용

Iris 시스템은 복잡한 정보 검색이 필요한 산업 분야(예: 금융, 법률, 의료)에서 활용 가능하며, 특히 다중 단계 검색이 필요한 챗봇이나 개인화된 정보 추천 시스템에 적용할 수 있다. 또한, 학술 연구에서 복잡한 질문에 대한 자동화된 답변 생성을 지원하는 데 유용할 수 있다.