Automating the Design of Embodied Agent Architectures

Embodied agents are typically built as hand-designed compositions of perception, memory, planning, and action modules. This modularity exposes a large architectural design space, but current systems still rely on researcher intuition to choose where information is stored, how observations are processed, and how model calls are connected. Agent Architecture Search (AAS) automates such design for text-domain agents, but has not been systematically evaluated on perceptual embodied agents through simulator rollouts. We study this transfer. We introduce AgentCanvas, a typed-graph runtime that hosts embodied executors as editable node-and-wire programs with simulator-aware execution and episode-level logs, and KDLoop, a coding-agent search procedure that cycles through proposal, critique, experiment, and distillation, with triggered reflection after stalls. We evaluate three AAS variants across four embodied executors spanning vision-language navigation, embodied question answering, and language-conditioned manipulation. The resulting 3x4 matrix shows that architecture-level search can produce deployable and directional success-rate gains on embodied tasks, while one apparent high-scoring candidate is rejected as leak-bearing. At the same time, the experiments expose constraints that are muted in text-domain AAS: optimization signals can be masked by rollout noise, search can become trapped in local edit basins, and episode-level credit assignment only partially emerges even when detailed logs are available. These results characterize both the promise and the current limits of automated architecture search for embodied agents.

한 줄 요약

AgentCanvas와 KDLoop를 활용한 AAS를 통해 3×4 실험 행렬에서 성공률 5~10% 개선을 달성했으나, 로우롤 노이즈와 로컬 최적화 문제도 드러남.

핵심 기여도

AgentCanvas: 시뮬레이터 인식형 실행과 에피소드 로그를 지원하는 타입 그래프 런타임.
KDLoop: 제안-비판-실험-정제-반성의 순환적 AAS 프로세스.
3×4 실험 행렬에서 MapGPT(54.0±2.3%)와 ExploreEQA(47.7±2.1%)에서 성공률 개선.
AAS가 텍스트 도메인과 달리 로우롤 노이즈, 로컬 최적화, 크레딧 할당 문제를 드러냄.

핵심 아이디어

기존에는 수작업으로 구성된 감지, 메모리, 계획, 행동 모듈을 조합해 에이전트를 설계했으나, 이는 설계 공간이 커지고 수작업에 의존적이었다. 이에 AAS를 도입해 텍스트 도메인에서의 성공을 에디티드 에이전트로 이식하려는 시도.

AgentCanvas는 감지-메모리-계획-행동 모듈을 편집 가능한 노드-와이어 그래프로 표현하며, 시뮬레이터 내 실행과 에피소드 단위 로그를 지원한다. KDLoop는 AAS 알고리즘으로, 제안(THINK), 비판(CRITIC), 실험(EXPERIMENT), 정제(DISTILL) 단계를 반복하며, 진행 정체 시 반성(REFLECT)을 유발한다.

이러한 접근은 텍스트 도메인 AAS와 달리, 시뮬레이터 기반의 에이전트가 다루는 노이즈, 복잡한 실행 흐름, 크레딧 할당 문제를 직접적으로 다루는 데 초점을 맞춘다.

기술적 접근법

**Executor**: 감지, 메모리, 계획, 행동 모듈로 구성된 타입 그래프.
**Optimizer**: LLM 에이전트가 Executor를 편집. 직접 환경에 작동하지 않으며, 수정 제안, 평가, 로그 분석을 통해 다음 수정을 선택.
**KDLoop**: 5단계 순환 알고리즘 (THINK, CRITIC, EXPERIMENT, DISTILL, REFLECT).
**AgentCanvas**: gpt-5-mini를 백본으로 사용 (VoxPoser 제외).
**실험 환경**: Claude Code(세션), Claude Opus 4.7(오케스트레이터), 1M 토큰 컨텍스트.
**실험 대상**: MapGPT, SmartWay(VLN), ExploreEQA(EQA), VoxPoser(VLA) 4개 실행기.

주요 결과

MapGPT: KDLoop에서 54.0±2.3% (기존 46.9±3.1%)
ExploreEQA: AFlow 47.7±2.1% (기존 43.0±1.7%), KDLoop 46.0±1.0%
SmartWay: AFlow 38.7±5.9%, KDLoop 31.0±4.6% (고정 노이즈 영향)
VoxPoser: 일부 수정 후 성공률 개선, 그러나 일부 후보는 'leak-bearing'으로 거부됨.
3×4 행렬 중 일부 셀에서 성공률 개선, 다른 셀에서는 로컬 최적화 문제 발생.

의의 및 한계

AgentCanvas와 KDLoop는 에디티드 에이전트의 자동 설계를 가능하게 하며, 실제 시뮬레이터에서 실행되는 에이전트의 성능 개선을 보여준다. 특히 MapGPT와 ExploreEQA에서 5~10% 성공률 상승은 기존 수작업 설계를 뛰어넘는 기능적 변화를 의미한다.

그러나 실험에서 드러난 한계도 있다. 첫째, 로우롤 노이즈가 수정 효과를 가릴 수 있다. 둘째, 검색이 로컬 편집 베이스에 갇혀 새로운 메커니즘을 찾지 못할 수 있다. 셋째, 에피소드 단위 크레딧 할당이 불완전하다. 이는 텍스트 도메인 AAS와 달리, 시뮬레이터 기반 에이전트의 복잡성과 노이즈를 고려해야 한다는 점을 강조한다.

실용적 활용

AgentCanvas와 KDLoop는 감지-메모리-계획-행동 모듈이 복잡하게 결합된 로봇, VR/AR, 자율 주행 시스템 등에서 에이전트 설계를 자동화할 수 있다. 특히, 다양한 기초 모델과 도구가 증가함에 따라 수작업 설계를 대체하는 데 유용할 수 있다.