📋 한 줄 요약
**[LLM 앙상블 / RAG 평가]** SemEval-2026 Task 8의 Task B에서 7개 LLM과 2가지 프롬프트 변형을 조합하고 GPT-4o-mini 심판이 후보를 선택하는 이질적 앙상블로 26팀 중 1위를 기록했다.
🎯 핵심 기여도
- SemEval-2026 Task 8 MTRAGEval Task B(레퍼런스 패시지 활용 다중 턴 응답 생성)에서 26팀 중 1위 달성, conditioned harmonic mean 0.7827 기록
- 7개 LLM × 2가지 프롬프트 변형의 후보 풀을 GPT-4o-mini 판정자가 인스턴스별로 최적 선택하는 judge-orchestrated 이질적 앙상블 시스템 제안
- 모델 패밀리·규모·프롬프트 다양성이 앙상블 효과의 핵심임을 ablation으로 입증, 단일 모델로는 도달하지 못하는 성능 영역 확보
- 비용-성능 균형이 우수한 7B 도메인 적응 모델 Meno-Lite-0.1을 함께 공개하고 MTRAGEval 자체의 어노테이션 한계도 함께 분석
💡 핵심 아이디어
다중 턴 RAG 응답 생성처럼 정답 분포가 다양한 태스크에서는 단일 강력한 모델보다 모델 패밀리·스케일·프롬프트가 다양한 후보 풀에 가벼운 심판 모델을 붙이는 편이 더 견고하다. 핵심은 후보의 다양성을 의식적으로 설계하는 것이고, 그렇게 만든 풀에서 작은 심판이 골라내기만 해도 강력한 단일 베이스라인을 큰 격차로 추월할 수 있다.
🔬 기술적 접근법
- **모델/방법론**: Judge-orchestrated heterogeneous LLM ensemble + 자체 7B 도메인 적응 모델 Meno-Lite-0.1
- **핵심 기법**: 7개의 서로 다른 LLM(다양한 패밀리·스케일)에 2가지 프롬프트 변형을 적용해 인스턴스마다 14개 후보 응답을 생성한 뒤, GPT-4o-mini 판정자가 레퍼런스 패시지 충실도를 기준으로 각 인스턴스에서 최선의 후보를 선택. 다양성이 평균이 아닌 ensemble effect의 핵심 원인임을 ablation으로 검증하고, 자체 7B 모델 Meno-Lite-0.1로 비용 효율적인 도메인 적응 가능성을 함께 제시
📊 주요 결과
- SemEval-2026 Task 8 Task B에서 26팀 중 1위, conditioned harmonic mean 0.7827 달성
- 가장 강한 단일 베이스라인 gpt-oss-120b(0.6390)를 큰 격차로 능가
- ablation에서 모델 패밀리·스케일·프롬프트 다양성이 모두 필수적이며, 어떤 단일 모델보다 앙상블이 일관되게 우수함을 확인
- Meno-Lite-0.1이 7B 규모로 강한 비용-성능 트레이드오프 달성
💭 의의 및 한계
**의의**: 학습이 아닌 "후보 다양성 + 경량 심판"이라는 시스템 디자인만으로도 다중 턴 RAG 평가에서 SOTA를 달성할 수 있음을 보이고, MTRAGEval 자체의 어노테이션 개선 방향까지 제시한다. **한계**: 추론 시 7개 LLM과 추가 심판을 운용하는 비용이 크고, 성능이 외부 모델 가용성과 라이선스에 의존하므로 실서비스 적용 시 비용 관리가 중요하다.
🚀 실용적 활용
- 다중 턴 RAG 챗봇에서 응답 품질을 끌어올리기 위한 후보 풀 + 심판 구조
- 평가 대회·리더보드에서 사용할 수 있는 강력한 시스템 디자인 패턴
- 비용 제한 환경을 위한 7B 도메인 적응 모델(Meno-Lite-0.1) 활용 사례