Rethinking the Bounds of LLM Reasoning: Are Multi-Agent Discussions the Key?

Recent progress in LLMs discussion suggests that multi-agent discussion improves the reasoning abilities of LLMs. In this work, we reevaluate this claim through systematic experiments, where we propose a novel group discussion framework to enrich the set of discussion mechanisms. Interestingly, our results show that a single-agent LLM with strong prompts can achieve almost the same performance as the best existing discussion approach on a wide range of reasoning tasks and backbone LLMs. We observe that the multi-agent discussion performs better than a single agent only when there is no demonstration in the prompt. Further study reveals the common interaction mechanisms of LLMs during the discussion.

한 줄 요약

단일 에이전트가 강력한 프롬프트를 사용하면 다중 에이전트 토론과 유사한 추론 성능을 달성할 수 있음을 실험적으로 밝힘.

핵심 기여도

새로운 다중 에이전트 토론 프레임워크 **CMD**를 제안함.
단일 에이전트가 **강력한 프롬프트**를 사용할 경우, 기존 다중 에이전트 토론 방식과 유사한 성능을 보임.
**FOLIO-wiki**, **GSM8K**, **ECQA** 데이터셋에서 실험적으로 비교 분석을 수행함.
**CMD**는 **다중 LLM** 환경에서도 약한 LLM을 강한 LLM이 성능 향상에 도움을 줌.

핵심 아이디어

기존 연구는 다중 에이전트 토론이 단일 에이전트보다 추론 성능을 향상시킨다고 주장하지만, 본 연구는 프롬프트의 강도가 토론 효과에 큰 영향을 미친다는 점을 발견함. 특히, **FOLIO-wiki** 데이터셋에서 단일 에이전트가 **강력한 프롬프트**를 사용할 경우, 기존 다중 에이전트 토론 방식과 유사한 성능을 보이는 결과를 통해, 토론의 효과는 프롬프트의 질에 크게 의존함을 밝힘.
또한, **CMD** 프레임워크는 인간 그룹 토론 과정을 시뮬레이션하며, **세 가지 프롬프트 구성 요소**(질문 설명, 답변 형식, 태스크별 예시)를 고려하여 토론 메커니즘을 구조화함. 이는 기존 토론 방식과 차별화된 접근법임.

기술적 접근법

**CMD**(Collaborative Multi-Agent Discussion) 프레임워크를 제안함.
**FOLIO-wiki**, **GSM8K**, **ECQA** 데이터셋을 사용하여 실험 수행.
프롬프트는 세 가지 구성 요소로 나뉨:
**질문 설명**(detailed question description)
**답변 형식**(answer format description)
**태스크별 예시**(task-specific demonstration)
**ChatGPT-3.5**, **Gemini Pro**, **Bard** 등 다양한 LLM을 사용한 실험 수행.
**CMD**는 다중 LLM 환경에서도 약한 LLM을 강한 LLM이 성능 향상에 기여함.

주요 결과

**FOLIO-wiki** 데이터셋에서 단일 에이전트가 **강력한 프롬프트**를 사용할 경우, 기존 다중 에이전트 토론 방식과 유사한 성능을 보임.
**CMD**는 **GSM8K**, **ECQA** 등 다른 추론 데이터셋에서도 뛰어난 성능을 나타냄.
**CMD**는 **프롬프트에 예시가 없을 경우**(no demonstration) 단일 에이전트보다 평균적으로 **더 높은 성능**을 보임.
**MAD**는 다른 토론 방식에 비해 성능이 낮아, **다양한 사고 방식**(divergent thinking)이 오히려 혼란을 유발할 수 있음.

의의 및 한계

본 연구는 **프롬프트의 질**이 토론 효과에 큰 영향을 미친다는 점을 밝혀, 추론 성능 향상을 위한 새로운 관점을 제시함.
**CMD**는 인간 그룹 토론 과정을 시뮬레이션하여, 기존 토론 방식과 비교해 더 구조화된 접근법을 제공함.
한계로는, **프롬프트가 충분히 강력할 경우** 토론의 필요성이 줄어들고, **다양한 사고 방식**(예: MAD)이 오히려 성능 저하를 초래할 수 있음.

실용적 활용

**복잡한 추론 작업**(예: 법률 판단, 과학적 분석)에서 단일 에이전트가 강력한 프롬프트를 사용하는 방식이 경제적이고 효율적일 수 있음.
**프롬프트가 부족한 환경**(예: 실시간 상담, 초기 단계의 데이터 부족 상황)에서는 **CMD**와 같은 다중 에이전트 토론 방식이 유리함.
**다중 LLM 환경**에서는 강한 LLM이 약한 LLM을 보완하여 **성능 향상**에 기여할 수 있음.