Latent Goal Prediction from Language for Model-Based Planning

Planning with world models is bottlenecked by compounding prediction errors and the difficulty of defining optimizable goals. Visual targets provide precise local gradients but poor distant guidance, while language is flexible yet limited by noisy cross-modal alignment or dependence on large generative models unsuited for the high-sampling nature of model-based planning. To address these challenges, we introduce Latent Goal Prediction from Language (LAGO), a framework that predicts both sequences of intermediate goal states from language instructions and action-conditioned rollouts, all within the same latent space. Rather than optimizing toward a single global objective, LAGO dynamically decomposes instructions into explicitly predicted, locally tractable latent subgoals. By updating these subgoals online and using a soft minimum trajectory cost during planning, LAGO enables an agent to follow coherent latent trajectories over long horizons. Evaluation across multiple environments planning horizons shows that LAGO avoids the sharp degradation of prior methods. By achieving robust and precise long-horizon planning purely from language, LAGO bridges the precision of visual goals with the flexibility of text-guided control.

한 줄 요약

LAGO는 언어 입력으로 중간 잠재 목표를 예측해 장기적 계획을 가능하게 하는 모델 기반 계획 프레임워크이다.

핵심 기여도

LAGO는 언어 조건을 기반으로 잠재 공간 내에서 중간 목표 상태를 예측하는 프레임워크로, 이미지 기반 목표의 정밀도와 언어 기반 제어의 유연성을 결합한다.
LAGO는 단일 거리 목표 대신, 동적으로 예측되는 잠재 하위 목표를 사용해 계획을 수행하며, 이는 소프트 최소 경로 비용을 통해 계획 과정에서 온라인으로 업데이트된다.
세 가지 다른 환경에서 평가되었으며, 기존 방법이 계획 범위를 벗어나면 급격히 성능이 저하되는 반면, LAGO는 안정적인 장기 계획을 보여준다.
새로운 거리 기반 평가 프로토콜을 도입하여 작업 난이도에 따라 성능을 체계적으로 평가한다.

핵심 아이디어

기존 모델 기반 계획은 단일 거리 목표에 의존하거나, 언어 입력을 처리하기 위해 대규모 생성 모델을 사용하는 한계가 있었다. LAGO는 이러한 문제를 해결하기 위해, 언어 조건을 기반으로 잠재 공간 내에서 중간 목표를 예측하고, 이를 통해 장기적 계획을 구조화한다. 이는 단일 거리 목표 대신, 동적으로 예측되는 잠재 하위 목표를 사용함으로써, 오차가 누적되는 문제를 완화하고, 계획의 일관성을 유지한다. LAGO는 잠재 공간 내에서 언어와 목표 간의 정렬을 수행하며, 이는 대비적 시각-언어 모델(VLM)의 노이즈 문제나, 대규모 생성 모델의 계산 비용 문제를 회피한다.

기술적 접근법

LAGO는 JEPA 월드 모델 내에서 언어 조건을 기반으로 잠재 공간 내의 목표 상태를 예측한다.
중간 잠재 하위 목표는 각 계획 단계에서 온라인으로 재예측되며, 이는 소프트 최소 경로 비용을 사용해 경로와 정렬된다.
언어-조건 잠재 하위 목표 예측을 통해, 장기적 계획을 여러 단계의 로컬 목표로 분해한다.
하이퍼파라미터나 특정 알고리즘 세부 사항은 명시되지 않지만, 잠재 공간 내에서의 목표 정렬과 온라인 업데이트가 핵심 기술이다.

주요 결과

세 가지 환경에서 평가되었으며, 기존 방법은 계획 범위를 벗어나면 성능이 급격히 저하되는 반면, LAGO는 안정적인 장기 계획을 보여준다.
LAGO는 단일 이미지 목표와 언어 기반 목표 기반 기준 모델 모두를 상회하며, 특히 장기적 계획에서의 정확도와 안정성이 뛰어나다.
거리 기반 평가 프로토콜에서, 작업 난이도가 증가할수록 기존 방법의 성능이 급격히 저하되는 반면, LAGO는 일관된 성능을 유지한다.

의의 및 한계

LAGO는 이미지 기반 목표의 정밀도와 언어 기반 제어의 유연성을 결합한 첫 번째 프레임워크로, 모델 기반 계획의 한계를 극복하는 중요한 기여를 한다. 특히, 잠재 공간 내에서 언어와 목표 간의 정렬을 통해, 대규모 생성 모델이나 대비적 VLM의 필요성을 줄이는 것이 학술적 가치가 있다. 그러나, LAGO는 특정 환경에서만 평가되었으며, 제로샷 환경에서의 하위 목표 예측 능력은 아직 검증되지 않았다. 또한, 잠재 공간 내에서의 정확한 정렬이 항상 보장되지 않을 수 있으며, 이는 장기적 계획의 일관성을 저해할 수 있다.

실용적 활용

LAGO는 로봇 제어, 자율 주행, 게임 AI 등에서 장기적 계획이 필요한 상황에 적용 가능하다. 특히, 인간 언어로 명령을 주고, 정밀한 시각 목표 없이도 장기적 작업을 수행해야 하는 산업 현장에서 유용할 수 있다.