PRISM: Perception Reasoning Interleaved for Sequential Decision Making

Scaling LLM-based embodied agents from text-only environments to complex multimodal settings remains a major challenge. Recent work identifies a perception-reasoning-decision gap in standalone Vision-Language Models (VLMs), which often overlook task-critical information. In this paper, we introduce PRISM, a framework that tightly couples perception (VLM) and decision (LLM) through a dynamic question-answer (DQA) pipeline. Instead of passively accepting the VLM's description, the LLM critiques it, probes the VLM with goal-oriented questions, and synthesizes a compact image description. This closed-loop interaction yields a sharp, task-driven understanding of the scene. We evaluate PRISM on the ALFWorld and Room-to-Room (R2R) benchmarks. We show that: (1) PRISM significantly outperforms state-of-the-art image-based models, (2) our Interactive goal-oriented perception pipeline yields systematic and substantial gains, and (3) PRISM is fully automatic, eliminating the need for handcrafted questions or answers.

📋 한 줄 요약

**[Embodied AI/멀티모달 에이전트]** VLM의 인식과 LLM의 결정을 동적 질의응답으로 긴밀히 결합한 PRISM 프레임워크를 제안하여, ALFWorld와 R2R에서 이미지 기반 SOTA를 일관되게 능가한다.

🎯 핵심 기여도

단독 VLM의 perception-reasoning-decision 갭을 지적하고, 인식과 결정을 인터리브하는 PRISM 프레임워크 제안
LLM이 VLM 설명을 그대로 받지 않고 비판하며 목표 지향적 질문을 던져 컴팩트한 장면 설명을 합성하는 동적 QA 파이프라인 도입
ALFWorld·R2R에서 SOTA 이미지 기반 모델 대비 큰 폭의 성능 향상
핸드크래프트 질문·정답 없이 완전 자동으로 작동하는 closed-loop 인식 파이프라인 제시

💡 핵심 아이디어

VLM 단독 설명은 작업에 결정적인 정보를 빈번히 누락한다. LLM이 능동적으로 질문하고 VLM이 응답하는 closed-loop를 통해 작업 목표에 정렬된 "필요 충분한" 장면 표현을 합성하면, 인식·추론·결정 사이의 격차를 메울 수 있다.

🔬 기술적 접근법

**모델/방법론**: VLM(perception) + LLM(decision) 결합, Figure 2의 PRISM 프레임워크 구조
**핵심 기법**: Figure 1처럼 인식과 결정을 인터리브 — LLM이 VLM 설명을 비판 → 목표 지향 질문 생성 → VLM 응답 → 컴팩트 설명으로 합성. Figure 5의 ALFWorld 텍스트 관측 예시를 통해 멀티모달 환경에서 검증

📊 주요 결과

ALFWorld·R2R에서 SOTA 이미지 기반 모델 대비 일관된 큰 폭의 우위
Figure 3: 환경 대비 장면 설명 품질이 PRISM에서 향상
Figure 4: 6개 ALFWorld 작업의 RL 파인튜닝 성공률(SR) 진화 — 상호작용형 인식의 체계적 이득 시각화

💭 의의 및 한계

**의의**: VLM 단독으로는 한계가 분명한 embodied 멀티모달 환경에서 LLM-VLM 협업의 효과를 검증하고, 자동화된 인식 루프 설계의 실용성을 보여줌. **한계**: 추가 LLM-VLM 호출로 추론 비용이 증가하며, VLM 응답 신뢰성에 따라 인식 품질이 크게 좌우될 수 있다.

🚀 실용적 활용

가정용 로봇·VR 어시스턴트의 시각 이해 강화
내비게이션·작업 보조 등 multi-step embodied agent
시각 검사·스마트 시티 관제처럼 능동 질문이 중요한 분야