Multi-Head Latent Control: A Unified Interface for LLM Agent Decision Making

Large language models are increasingly deployed as agents, but reliable agentic behavior requires more than next-token prediction. At inference time, it is preferred that an agent can decide whether to proceed with its current reasoning, defer to a stronger model, request additional information, invoke external tools, or abstain under the given setup. Existing approaches address these decisions through prompt-level routing, external orchestration, or task-specific fine-tuning, which primarily rely on input-side signals, and are often costly and difficult to maintain as model backbones evolve. We ask whether such control decisions can be inferred directly from a model's latent generation process. We introduce Multi-Head Latent Control, a lightweight layer that reads hidden-state trajectories from a frozen LLM or VLM to produce deployment-time control signals. A Capability Head predicts whether the current model can solve the instance or should defer to a stronger collaborator, while a Resolution Head predicts appropriate resolution decision Clarification, Tool Use, Abstention, or Direct Answering. Both heads are trained only on latent traces from the same frozen LLM backbone, enabling post hoc adaptation without modifying the model. Across language and vision-language settings, Multi-Head Latent Control consistently improves the quality-cost tradeoff of multi-model systems, enabling early handoff from partial generations and more accurate intervention decisions. In routed execution (small + large model), it reduces large-model usage by up to 90.7 percent on AndroidWorld and 27-53 percent on average across benchmarks, while retaining most of large-model performance. Additionally, the learned control signals improve tool-use decision quality, yielding up to +158 percent relative score gain and 65.5 percent fewer missed-required tool calls.

한 줄 요약

Multi-Head Latent Control은 기존 LLM을 수정하지 않고도 추론 시점의 제어 결정을 개선하는 경량 레이어를 제안한다.

핵심 기여도

**Capability Head**를 통해 모델의 인스턴스별 능력 여부를 예측, 대체 모델로의 전환 결정을 가능하게 함.
**Resolution Head**를 통해 클리어런스, 툴 사용, 포기, 직접 답변 중 적절한 개입을 예측.
기존 라우팅 방식 대비, **AndroidWorld에서 90.7%의 대형 모델 사용 감소**를 달성.
**When2Call 데이터셋에서 11.7 F1 포인트, 12.4% 정확도 향상**을 기록.

핵심 아이디어

기존의 라우팅 방식은 입력 신호에 의존하며, 모델 업데이트 시 유지보수가 어려운 문제를 제기한다. 이에 반해, Multi-Head Latent Control은 **LLM의 숨겨진 상태**(hidden-state trajectories)를 직접 읽어 추론 시점의 제어 결정을 내리는 새로운 접근법을 제안한다. 이는 모델 자체의 생성 과정을 기반으로, **Capability Head**와 **Resolution Head**라는 두 개의 경량 헤드를 통해 **모델의 능력 여부**와 **적절한 개입 방식**을 예측한다. 이는 기존의 입력 기반 라우팅과는 차별화된 **latent-level control** 메커니즘으로, 모델 뼈대를 수정하지 않고도 유연한 제어를 가능하게 한다.

기술적 접근법

**Multi-Head Latent Control**은 **frozen LLM 또는 VLM**의 hidden-state trajectory를 입력으로 받는 **경량 레이어**.
**Capability Head**: 현재 모델이 인스턴스를 해결할 수 있는지 여부를 예측.
**Resolution Head**: 모델이 직접 답변, 툴 사용, 클리어런스 요청, 포기 중 하나를 선택하도록 예측.
헤드는 **동일한 frozen LLM 뼈대**의 latent trace만을 사용해 학습되며, **fine-tuning 없이 post hoc adaptation** 가능.
학습 시 **prefix-time setting**에서 부분 생성만으로도 예측 가능성을 검증.

주요 결과

**AndroidWorld**에서 라우팅 실행 시 **대형 모델 사용량 90.7% 감소**.
**Benchmark 평균 27–53%의 대형 모델 사용 감소**를 달성하면서도 성능 대부분 유지.
**When2Call** 데이터셋에서 **11.7 F1 포인트, 12.4% 정확도 향상**.
**TriviaQA**에서 툴 사용 결정 품질이 **+158.9% 상승**, **65.5% 적은 필수 툴 미사용**.

의의 및 한계

Multi-Head Latent Control은 기존의 라우팅, 오케스트레이션, 페인트 튜닝 방식과 달리, **모델의 내재적 생성 과정을 기반으로 제어 결정을 내리는 새로운 패러다임**을 제시한다. 이는 **유연한 post hoc adaptation**과 **낮은 계산 비용**을 동시에 달성하며, 대형 모델 의존도를 줄이는 데 기여한다. 그러나, **모델의 latent state가 제한된 경우** 예측 정확도가 떨어질 수 있으며, **복잡한 다단계 작업에서의 장기적 성능**은 추가 연구가 필요하다.

실용적 활용

이 기술은 **멀티모달 시스템**, **대형-소형 모델 협업**, **툴 사용이 필요한 대화형 에이전트** 등에 적용 가능하다. 특히, **비용 효율적인 추론**, **실시간 제어 결정**, **사전 학습 모델의 재사용성 향상**에 유용하며, **실제 상용 시스템**(예: Claude 에이전트)에서 즉각적인 성능 개선을 기대할 수 있다.