한 줄 요약
IQuest-Q1는 320B 파라미터를 가진 MoE 기반 CLI 에이전트 모델로, 3단계 학습과 모델 머징을 통해 코딩 및 일반 작업에서 뛰어난 성능을 보인다.
핵심 기여도
- 3단계 학습 파이프라인(Stable SplitNorm, Muon, μP, MTP)을 통해 안정적이고 효율적인 사전 학습 수행.
- 다중 스캐폴드와 다버전 포스트-트레이닝(SFT, 도메인 전용 RL, MOPD)을 결합하여 에이전트 코딩 능력 강화.
- 모델 머징을 통해 서로 다른 전문가와 체크포인트 간 파라미터 갱신 충돌 최소화.
- 160,000 어휘, 88 레이어, 3,072 차원의 히든 차원을 가진 MoE 구조로, 8개의 전문가가 토큰당 활성화됨.
핵심 아이디어
IQuest-Q1은 CLI 기반 에이전트 시스템에서의 학습 안정성과 능력을 극대화하기 위해 3단계 학습 프로세스를 도입했다. 첫 번째 단계는 Stable SplitNorm, Muon, μP와 함께 2단계 커리큘럼을 결합하여 안정적인 학습 환경을 구축한다. 두 번째 단계는 도메인과 형식을 확장하며 컨텍스트를 점진적으로 늘리는 방식으로 학습 범위를 확장한다. 세 번째 단계는 다양한 스캐폴드에서 SFT, RL, MOPD를 결합하여 상호 보완적인 학습 신호를 통합한다. 이는 에이전트가 다양한 CLI 작업을 수행할 수 있도록 지원한다. 또한, 모델 머징을 통해 서로 다른 체크포인트 간의 파라미터 갱신 충돌을 완화하며, 모델의 일관성과 안정성을 높인다.
기술적 접근법
- **모델 구조**: 88개의 Transformer 레이어, 3,072 차원의 히든 차원, 48개의 쿼리 헤드, 8개의 키-벨류 헤드.
- **어텐션 구조**: 첫 2개와 마지막 2개 레이어는 FA(전역 어텐션), 중간 레이어는 3:1 비율로 SWA(로컬 어텐션)와 FA를 반복.
- **MoE 구조**: 256개의 전문가, 토큰당 8개 활성화, 각 전문가의 중간 차원은 1,536.
- **학습 기법**: 두 개의 MTP(Multi-Token Prediction) 레이어를 사용, MTP 손실 가중치는 0.3.
- **모델 머징**: ℓ2-노름 기반의 전역 정규화를 통해 파라미터 갱신 충돌 최소화.
주요 결과
- BPB(Bits-per-byte) 지표를 사용한 평가에서 에이전트 궤적 분포를 효과적으로 학습함.
- CyberGym, Terminal-Bench 2.1, 3.0, 4.0, ProgramBench, PaperBench 등 다양한 CLI 작업에서 6~12시간의 런타임 제한 내에서 안정적인 성능 보임.
- 소프트웨어 엔지니어링, 일반 작업 수행, 장기적 추론 및 사이버보안 분야에서 뛰어난 CLI 능력 보임.
의의 및 한계
IQuest-Q1은 CLI 기반 에이전트 시스템의 학습 안정성과 능력을 동시에 향상시키는 데 기여하며, 개방형 모델로서 커뮤니티 연구와 개발을 지원한다. 특히, 다양한 도메인과 형식을 처리할 수 있는 능력은 실제 응용에 유리하다. 그러나, 일부 복잡한 작업에서는 여전히 성능 차이가 존재하며, 이는 데이터 선택 및 커리큘럼 설계에서 개선이 필요하다는 점이 언급된다. 또한, 모델 크기와 복잡성은 추론 효율성에 영향을 줄 수 있다.
실용적 활용
IQuest-Q1은 소프트웨어 개발, 자동화된 시스템 관리, 사이버보안 분야에서 CLI 기반 에이전트로 활용 가능하다. 또한, 다양한 도메인에서의 장기적 추론과 작업 수행 능력을 갖추고 있어, 연구 및 산업 현장에서의 에이전트 기반 시스템 개발에 기여할 수 있다.