InFoBench: Evaluating Instruction Following Ability in Large Language Models

This paper introduces the Decomposed Requirements Following Ratio (DRFR), a new metric for evaluating Large Language Models' (LLMs) ability to follow instructions. Addressing a gap in current methodologies, DRFR breaks down complex instructions into simpler criteria, facilitating a detailed analysis of LLMs' compliance with various aspects of tasks. Alongside this metric, we present InFoBench, a benchmark comprising 500 diverse instructions and 2,250 decomposed questions across multiple constraint categories. Our experiments compare DRFR with traditional scoring methods and explore annotation sources, including human experts, crowd-sourced workers, and GPT-4. The findings demonstrate DRFR's higher reliability and the effectiveness of using GPT-4 as a cost-efficient annotator. The evaluation of several advanced LLMs using this framework reveals their strengths and areas needing improvement, particularly in complex instruction-following. This study contributes a novel metric and benchmark, offering insights for future LLM development and evaluation.

한 줄 요약

InFoBench는 LLM의 지시사항 따르기 능력을 평가하기 위한 새로운 메트릭 DRFR과 500개의 지시사항을 포함한 벤치마크를 제시한다.

핵심 기여도

새로운 메트릭 DRFR을 제안, 복잡한 지시사항을 5개 범주(내용, 언어, 스타일, 형식, 숫자)로 분해하여 평가.
InFoBench라는 500개의 지시사항과 2,250개의 분해 질문을 포함한 벤치마크를 제공.
GPT-4를 사용한 자동 평가가 전문가와 유사한 정확도(89%)를 보이며, WPLD 0.44로 높은 신뢰도를 나타냄.
6개의 고급 LLM을 평가하여 복잡한 지시사항 처리에서의 한계를 드러냄.

핵심 아이디어

기존 평가 방법은 지시사항을 통합적으로 평가하는 데 한계가 있어, InFoBench는 DRFR라는 새로운 메트릭을 통해 각 지시사항을 세부 기준으로 분해함으로써 모델의 특정 영역별 성능을 정확히 분석할 수 있도록 설계되었다. 이는 기존의 전체 점수 기반 평가(DS)보다 해석성이 높고, 특히 복잡한 지시사항(Hard Set)에서 신뢰도가 더 높다. 또한, GPT-4를 활용한 자동 평가 방식은 전문가와 유사한 정확도를 유지하면서도 시간과 비용을 크게 절감할 수 있다.

기술적 접근법

**DRFR 메트릭**: 지시사항을 5개 범주(Content, Linguistic, Style, Format, Number)로 분해하여 각 항목별로 모델 응답을 평가.
**InFoBench 벤치마크**: 500개의 다양한 지시사항과 2,250개의 분해 질문을 포함.
**평가 방법**: 전문가, AMT 작업자, GPT-4를 비교. GPT-4는 multi-turn prompt 방식으로 사용됨.
**비용 및 효율성**: GPT-4는 0.03달러/1,000 prompt token, 0.06달러/1,000 completion token의 비용 구조를 따름.
**WPLD**: Pairwise Label Distance를 기반으로 한 신뢰도 평가 지표로, GPT-4는 0.44의 WPLD를 기록.

주요 결과

GPT-4는 AMT 작업자 대비 89%의 정확도를 보이며, WPLD 0.44로 높은 신뢰도를 나타냄.
DRFR는 Hard Set에서 전문가와의 합의 비율이 DS 대비 더 높음.
평가된 6개의 고급 LLM은 복잡한 지시사항 처리에서 아직 한계가 있음.
GPT-4는 AMT 대비 1/10 수준의 비용으로 동일한 정확도를 달성.

의의 및 한계

InFoBench와 DRFR는 LLM의 지시사항 처리 능력을 세부적으로 평가할 수 있는 체계적인 프레임워크를 제공하며, 특히 복잡한 지시사항에서의 모델 성능을 분석하는 데 유용하다. 또한, GPT-4를 활용한 자동 평가 방식은 대규모 평가를 효율적으로 수행할 수 있는 가능성을 제시한다. 그러나, DRFR는 지시사항 분해 과정에서 인간의 주관이 개입될 수 있으며, 일부 모델은 수치적 이해나 언어적 해석에서 여전히 개선이 필요하다는 한계가 있다.

실용적 활용

InFoBench와 DRFR는 LLM 개발자들이 모델의 지시사항 처리 능력을 정확히 평가하고, 복잡한 사용 시나리오에서의 성능을 개선하는 데 활용될 수 있다. 특히, GPT-4를 활용한 자동 평가 방식은 대규모 모델 평가를 저비용으로 수행할 수 있어, 산업 및 연구 분야에서 실용적 가치가 높다.