Macro-Action Based Multi-Agent Instruction Following through Value Cancellation

Multi-agent reinforcement learning (MARL) in real-world use cases may need to adapt to external natural language instructions that interrupt ongoing behavior and conflict with long-horizon objectives. However, conditioning rewards on instructions introduces a fundamental failure mode as Bellman updates couple value estimates across instruction contexts, leading to inconsistent values when instructions interrupt macro-actions. We propose Macro-Action Value Correction for Instruction Compliance (MAVIC), which corrects Bellman backups at instruction boundaries by correcting the incoming instruction objective and restoring the continuation value under the current objective. Unlike reward shaping, MAVIC modifies the bootstrapping target itself, enabling consistent value estimation under stochastic instruction switching within a unified policy. We provide theoretical analysis and an actor-critic implementation, and show that MAVIC achieves high instruction compliance while preserving base task performance in increasingly complex cooperative multi-agent environments.

📋 한 줄 요약

**[다중 에이전트 강화학습 · 지시 따르기]** 매크로 액션 도중 자연어 지시가 끼어들 때 발생하는 벨만 업데이트의 가치 추정 오염 문제를 부트스트랩 타깃 자체를 보정하는 방식으로 해결한 MAVIC을 제안한다.

🎯 핵심 기여도

매크로 액션 경계에서 지시가 바뀔 때 가치 추정이 컨텍스트 간 결합되어 일관성을 잃는 실패 모드를 이론적으로 규명
보상 셰이핑이 아니라 부트스트랩 타깃(들어오는 지시 목적 보정 + 현재 목적의 연속 가치 복원)을 직접 수정하는 MAVIC 알고리즘 제안
확률적 지시 전환 상황에서 단일 정책으로 일관된 가치 추정이 가능함을 actor-critic 구현으로 실증
점점 복잡해지는 협력 다중 에이전트 환경에서 기저 작업 성능을 유지하면서 지시 준수율을 끌어올림

💡 핵심 아이디어

지시 조건부 보상은 표면적으로는 유연해 보이지만 벨만 업데이트가 서로 다른 지시 컨텍스트의 가치를 묶어 버린다. MAVIC은 보상 자체가 아니라 업데이트의 부트스트랩 타깃을 보정해 매크로 액션의 시간적 추상화와 외부 지시 사이의 충돌을 해소한다.

🔬 기술적 접근법

**모델/방법론**: 매크로 액션 기반 협력 MARL 위에 actor-critic 구조로 MAVIC을 구현
**핵심 기법**: 지시 경계에서 들어오는 지시 목적을 보정하고 현재 목적 하의 연속 가치를 복원하는 부트스트랩 타깃 교정

📊 주요 결과

협력 다중 에이전트 벤치마크에서 높은 지시 준수율 달성
지시 준수와 기저 작업 성능 사이의 균형을 동시에 보존
환경 복잡도가 증가해도 일관된 효과 유지

💭 의의 및 한계

**의의**: 장기 목표를 가진 MARL이 자연어 지시로 갑작스럽게 끼어드는 현실 상황에서 안정적으로 동작하기 위한 가치 함수 수준의 처방을 제공한다. **한계**: 평가가 협력 다중 에이전트 환경에 한정되며, 경쟁/혼합 보상 구조나 더 일반적인 자연어 지시 공간으로의 확장은 후속 과제다.

🚀 실용적 활용

사람이 자연어로 개입하는 협력 로봇/멀티에이전트 시스템의 안전한 행동 전환
장기 목표와 실시간 지시가 충돌하는 게임 NPC, 시뮬레이션 코디네이터 설계
매크로 액션 기반 강화학습 시스템에서 비정상적 가치 추정을 진단하는 도구