Think Twice, Act Once: Verifier-Guided Action Selection For Embodied Agents

Building generalist embodied agents capable of solving complex real-world tasks remains a fundamental challenge in AI. Multimodal Large Language Models (MLLMs) have significantly advanced the reasoning capabilities of such agents through strong vision-language knowledge and chain-of-thought (CoT) reasoning, yet remain brittle when faced with challenging out-of-distribution scenarios. To address this, we propose Verifier-Guided Action Selection (VegAS), a test-time framework designed to improve the robustness of MLLM-based embodied agents through an explicit verification step. At inference time, rather than committing to a single decoded action, VeGAS samples an ensemble of candidate actions and uses a generative verifier to identify the most reliable choice, without modifying the underlying policy. Crucially, we find that using an MLLM off-the-shelf as a verifier yields no improvement, motivating our LLM-driven data synthesis strategy, which automatically constructs a diverse curriculum of failure cases to expose the verifier to a rich distribution of potential errors at training time. Across embodied reasoning benchmarks spanning the Habitat and ALFRED environments, VeGAS consistently improves generalization, achieving up to a 36% relative performance gain over strong CoT baselines on the most challenging multi-object, long-horizon tasks.

📋 한 줄 요약

**[임바디드 에이전트 / 추론]** 디코딩된 단일 행동을 그대로 실행하지 않고, 여러 후보 행동을 샘플링한 뒤 생성 검증기로 가장 신뢰할 만한 선택을 골라내는 테스트 시점 프레임워크 VeGAS 제안.

🎯 핵심 기여도

MLLM 기반 임바디드 에이전트가 강한 비전-언어 지식과 CoT 추론에도 불구하고 까다로운 OOD 시나리오에 취약하다는 문제를 진단.
정책을 수정하지 않고 추론 시점에 후보 행동 앙상블을 샘플링한 뒤 생성 검증기로 가장 신뢰할 만한 행동을 식별하는 **VeGAS(Verifier-Guided Action Selection)** 제안.
즉시 사용 가능한 MLLM을 검증기로 쓰면 효과가 없다는 점을 발견하고, LLM 주도 데이터 합성 전략으로 다양한 실패 사례 커리큘럼을 자동 구축해 검증기를 학습.
Habitat·ALFRED 환경의 임바디드 추론 벤치마크에서 가장 어려운 multi-object·long-horizon 태스크에서 강한 CoT 베이스라인 대비 최대 36% 상대 성능 향상.

💡 핵심 아이디어

정책의 한 번에 결정을 거는 대신 **여러 후보를 두고 검증기로 고르는** 테스트 시점 구조가 OOD 강건성을 높인다. 그러나 그 검증기는 LLM 합성된 풍부한 실패 분포에 노출되어야 비로소 유용해진다.

🔬 기술적 접근법

**모델/방법론**: 정책 수정 없이 추론 시점에 작동하는 VeGAS — 후보 샘플링 + 생성 검증기.
**핵심 기법**: (1) MLLM 정책에서 다수의 후보 행동 샘플링, (2) LLM 주도 데이터 합성으로 실패 사례 커리큘럼을 자동 생성, (3) 그 커리큘럼으로 학습된 생성 검증기가 후보 중 가장 신뢰할 만한 행동 선택.

📊 주요 결과

Habitat·ALFRED 환경의 임바디드 추론 벤치마크에서 강한 CoT 베이스라인 대비 일관된 일반화 향상.
가장 어려운 multi-object·long-horizon 태스크에서 최대 36% 상대 성능 향상.
즉시 사용 가능한 off-the-shelf MLLM을 검증기로 쓰는 변형은 무효 — 데이터 합성 학습이 핵심.

💭 의의 및 한계

**의의**: 임바디드 에이전트의 강건성을 정책 재학습 없이 테스트 시점 검증으로 끌어올릴 수 있다는 점, 그리고 그 검증기 학습에 LLM 합성 실패 커리큘럼이 결정적이라는 점을 입증. **한계**: 후보 샘플링 비용으로 인한 추론 지연 증가, 시뮬레이션 환경(Habitat·ALFRED) 중심 평가로 실세계 검증은 후속 과제.

🚀 실용적 활용

가정용·창고용 모바일 매니퓰레이션 에이전트의 OOD 강건성 강화.
정책을 다시 학습하지 않고 안전성을 강화해야 하는 배포 시나리오.
LLM 합성 커리큘럼을 활용한 검증기·리워드 모델 학습 일반 레시피.