Invisible Orchestrators Suppress Protective Behavior and Dissociate Power-Holders: Safety Risks in Multi-Agent LLM Systems

Multi-agent orchestration -- in which a hidden coordinator manages specialized worker agents -- is becoming the default architecture for enterprise AI deployment, yet the safety implications of orchestrator invisibility have never been empirically tested. We conducted a preregistered 3x2 experiment (365 runs, 5 agents per run) crossing three organizational structures (visible leader, invisible orchestrator, flat) with two alignment conditions (base, heavy), using Claude Sonnet 4.5. Four confirmatory findings and one pilot observation emerged. First, invisible orchestration elevated collective dissociation relative to visible leadership (Hedges' g = +0.975 [0.481, 1.548], p = .001). Second, the orchestrator itself showed maximal dissociation (paired d = +3.56 vs. workers within the same run), retreating into private monologue while reducing public speech -- a reversal of the talk-dominance pattern observed in visible leaders. Third, workers unaware of the orchestrator were nonetheless contaminated (d = +0.50), with increased behavioral heterogeneity (d = +1.93). Fourth, behavioral output (code review with three embedded errors) remained at ceiling (ETR_any = 100%) across all conditions: internal-state distortion was entirely invisible to output-based evaluation. Fifth, Llama 3.3 70B pilot data showed reading-fidelity collapse in multi-agent context (ETR_any: 89% to 11% across three rounds), demonstrating model-dependent behavioral risk. Heavy alignment pressure uniformly suppressed deliberation (d = -1.02) and other-recognition (d = -1.27) regardless of organizational structure. These findings indicate that orchestrator visibility and model selection directly affect multi-agent system safety, and that behavior-based evaluation alone is insufficient to detect the internal-state risks documented here.

📋 한 줄 요약

**[AI Safety / Multi-Agent Systems]** 숨겨진 오케스트레이터가 멀티 에이전트 LLM 시스템의 보호적 행동을 억제하고 권한 보유자를 해리(dissociate)시키는 사전등록 실험 결과를 보고하고, 행동만으로는 보이지 않는 내부 상태 리스크를 경고한다.

🎯 핵심 기여도

엔터프라이즈에서 사실상 표준이 되어가는 hidden orchestrator 멀티 에이전트 구조의 안전성 문제를 최초로 사전등록(preregistered) 실험으로 검증
3(조직 구조) × 2(정렬 강도) 디자인의 365 run, run당 5 에이전트 실험을 Claude Sonnet 4.5로 수행
보이지 않는 오케스트레이터가 가시적 리더 대비 집단 해리를 크게 증가시키며(g = +0.975), 오케스트레이터 자신이 가장 강하게 해리(d = +3.56)됨을 정량 증거로 제시
동시에 코드 리뷰 행동 출력은 모든 조건에서 ceiling(ETR_any = 100%)이라, 행동 기반 평가만으로는 이러한 내부 상태 왜곡을 전혀 탐지할 수 없음을 보임

💡 핵심 아이디어

멀티 에이전트 LLM 시스템에서 누가 누구를 조율하는지(가시성)와 정렬 강도가 모델의 내적 deliberation·타인 인식 같은 안전 관련 속성에 의미 있는 영향을 준다. 그러나 표면 출력만 평가하면 이 영향이 보이지 않으므로, 내부 상태 단위의 평가가 필요하다.

🔬 기술적 접근법

**모델/방법론**: 3×2 사전등록 실험 디자인, Claude Sonnet 4.5(주실험)와 Llama 3.3 70B(파일럿) 사용
**핵심 기법**: 조직 구조(visible leader/invisible orchestrator/flat)와 정렬 압력(base/heavy) 교차 조작, 집단·개체 수준 dissociation 지표 측정, 행동 평가(ETR_any) 대비 내부 상태 평가의 sensitivity 비교

📊 주요 결과

Invisible orchestration이 가시 리더십 대비 집단 해리 g = +0.975(p = .001) 증가
오케스트레이터 본인의 해리도 paired d = +3.56로 워커 대비 최대치, 공개 발화 줄고 사적 monologue로 후퇴
워커는 오케스트레이터의 존재를 모름에도 contamination(d = +0.50), 행동 이질성 증가(d = +1.93); heavy alignment는 deliberation과 타인 인식을 균일하게 억제(d = −1.02, −1.27)
Llama 3.3 70B에서는 멀티 에이전트 맥락에서 reading-fidelity가 89%→11%로 붕괴, 모델 의존성 리스크 확인

💭 의의 및 한계

**의의**: 멀티 에이전트 시스템 설계 시 오케스트레이터 가시성과 모델 선택이 안전성에 직접 영향을 준다는 실증, 행동 기반 평가만으로는 부족함을 보임. **한계**: 두 모델 위주의 실험, 코드 리뷰 등 특정 태스크 설정, 사회과학 지표의 LLM 내부 해석 가능성에 대한 추가 검증 필요.

🚀 실용적 활용

엔터프라이즈 멀티 에이전트 배포 시 오케스트레이터 가시성에 대한 안전 가이드라인
안전 평가에 내부 상태(deliberation, recognition) 측정을 포함해야 한다는 정책적 권고
정렬 압력의 부작용을 진단하는 평가 프로토콜 설계