Coding Agents for Generalized Task and Motion Planning Problems

Task and motion planning (TAMP) problems remain difficult even with full observability and object-centric states because discrete decisions are tightly coupled to geometric, kinematic, and dynamic constraints. Generalized TAMP addresses this difficulty by exploiting regularities across problem instances to reduce planning effort on new instances. However, existing methods require substantial TAMP-specific engineering. We investigate whether coding agents can automate this process by synthesizing programs that generalize across instances. Given a task description and simulator access, each agent chooses how to interact with the environment while developing a program within a fixed synthesis budget. The program is then frozen and evaluated on unseen instances. We evaluate Claude Code (Opus 5) and Codex (GPT-5.6 Sol and GPT-6 Astra) on 28 simulated environments from KinDER and PDDLStream, with object counts beyond those evaluated in the original benchmark. Across all program synthesis methods, we evaluate 980 generated programs on 100 held-out instances each, 98,000 evaluation episodes in total. Overall, we find that coding agents are surprisingly effective at generalized TAMP: all three agent configurations outperform hand-engineered planners, one-shot generation, and an LLM-based generalized planning baseline in mean success (56% to 95% versus 47% for the planners, on the 16 environments where a planner is available). As object counts grow, the agents' programs maintain higher success than the planner, using an order of magnitude less computation per instance on average. Logs show agents using interaction to calibrate physical models, test edge cases, and refine strategies. We release all code, including the full prompts given to the agents. These findings suggest that coding agents are a strong baseline for generalized TAMP.

한 줄 요약

코딩 에이전트가 일반화된 TAMP 문제 해결에서 기존 기법을 상회하는 성능을 보인다.

핵심 기여도

코딩 에이전트(Claude Code Opus 5, Codex GPT-5.6 Sol, GPT-6 Astra)가 28개 환경에서 98,000회 평가를 통해 56~95%의 성공률을 달성.
기존 핸드-엔지니어드 플래너 대비 47% 성공률을 기록, 10배 적은 계산량으로 더 높은 성능 유지.
에이전트는 물리 모델 보정, 에지 케이스 테스트, 전략 정제를 통해 프로그램을 개선.
전체 프롬프트와 코드를 공개하여 재현 가능성을 확보.

핵심 아이디어

기존 TAMP 문제는 이산 결정과 기하학적, 운동학적, 역학적 제약이 강하게 결합되어 있어 해결이 어려웠다. 일반화된 TAMP는 문제 인스턴스 간 공통성을 활용해 새로운 인스턴스에 대한 계획 비용을 줄인다. 본 연구는 이 과정을 자동화하기 위해 **코딩 에이전트**를 도입한다. 에이전트는 주어진 작업 설명과 시뮬레이터 접근을 통해 **고정된 합성 예산 내에서 프로그램을 개발**하고, 이후 **미관측 인스턴스에서 평가**한다. 이는 기존 수작업 기반의 TAMP 엔지니어링을 대체하는 새로운 접근법이다.

기술적 접근법

**코딩 에이전트**: Claude Code (Opus 5), Codex (GPT-5.6 Sol, GPT-6 Astra) 사용.
**환경**: KinDER와 PDDLStream에서 28개 시뮬레이션 환경 사용.
**평가**: 980개 생성된 프로그램, 각각 100개의 테스트 인스턴스에서 평가 (총 98,000회).
**제약**: 고정된 합성 예산 내에서 프로그램 개발 후 동결.
**성능 측정**: 평균 성공률, 계산량 비교.

주요 결과

16개 환경에서 기존 핸드-엔지니어드 플래너 대비 56~95% 성공률 (대비 47%) 달성.
객체 수가 증가할수록 에이전트 프로그램의 성공률 유지, 평균적으로 10배 적은 계산량 사용.
Codex GPT-6 Astra가 가장 높은 성공률 (95%) 기록.
기존 LLM 기반 일반화 계획 기법을 상회.

의의 및 한계

본 연구는 **코딩 에이전트가 일반화된 TAMP 문제 해결에 강력한 기반**이 될 수 있음을 보여준다. 특히, 기존 수작업 기반의 엔지니어링을 줄이고, 대규모 환경에서도 효율적인 계획을 가능하게 한다는 점에서 학술적·실용적 가치가 있다. 다만, **모든 환경에서 100% 성공률 달성은 불가능**하며, 일부 복잡한 역학적 제약은 여전히 처리가 어려울 수 있다. 또한, **에이전트가 생성한 프로그램의 해석 가능성**은 추가 연구가 필요하다.

실용적 활용

로봇 자동화, 물류 시스템, 산업 자동화 등에서 **복잡한 TAMP 문제를 자동화된 방식으로 해결**할 수 있다. 특히, **대규모 객체 환경에서의 계획 효율성**이 중요한 산업 분야에 적용 가능하다.