Sample-Efficient Learning from Agent Experience

Real-world agent learning is often constrained by costly environment interactions, such as running time-consuming experiments or obtaining human feedback. In-context learning offers a highly sample-efficient way for agents to learn from their own interaction histories, but its gains disappear once that experience is removed from the context. Separately, context distillation provides a mechanism for internalizing contextual information into model weights. However, applying it to agents' interaction histories without sacrificing environment sample efficiency remains underexplored. We term this problem Experience Distillation and develop an implementation that requires no further environment interaction beyond the collected experience. Experiments on 749 curated software-engineering tasks and six text-adventure games show that it retains at least 64.8\% of the gains from in-context learning across both domains, whereas direct supervised fine-tuning on the collected experience recovers only 3.8\%. Compared with classical reinforcement-learning baselines, in-context learning from trial-and-error experience followed by Experience Distillation matches their performance with at least \(9.6\times\) fewer environment samples.

한 줄 요약

경험 기반 학습에서 샘플 효율성을 향상시키기 위한 Experience Distillation 방법을 제안한다.

핵심 기여도

Experience Distillation이라는 새로운 문제 정의 및 구현 제안.
기존 in-context learning의 이점을 모델 가중치에 고정화하여 유지.
749개의 소프트웨어 엔지니어링 태스크와 6개의 텍스트 어드벤처 게임에서 64.8%의 in-context 학습 이득 유지.
기존 지도 학습 방식 대비 9.6배 적은 환경 샘플로 동일 성능 달성.

핵심 아이디어

In-context learning은 컨텍스트 내 경험을 활용해 높은 샘플 효율성을 제공하지만, 컨텍스트가 제거되면 이득이 사라진다. 이를 해결하기 위해 Experience Distillation을 제안하여, 경험 정보를 모델 가중치에 내재화한다. 이는 추가 환경 상호작용 없이 기존 경험만으로 학습이 가능하다는 점에서 혁신적이다. 핵심 통찰은 경험을 단순히 기억하는 것이 아니라, 이를 모델 구조에 퓨즈(fuse)함으로써 지속적인 성능 향상을 이끌어내는 것이다.

기술적 접근법

Experience Distillation은 기존 환경 경험 데이터만 사용.
추가적인 환경 상호작용 없이, in-context learning의 결과를 모델 파라미터에 고정.
실험은 749개의 소프트웨어 엔지니어링 태스크와 6개의 텍스트 어드벤처 게임에서 수행.
비교 대상으로는 지도 학습과 전통적 강화 학습 기반 베이스라인 사용.

주요 결과

Experience Distillation은 in-context learning의 64.8% 이상의 이득을 유지.
749개의 소프트웨어 엔지니어링 태스크에서 64.8% (기존 지도 학습 대비 +61.0%).
텍스트 어드벤처 게임에서 64.8% 유지, 기존 방식 대비 9.6배 적은 샘플로 동일 성능 달성.

의의 및 한계

Experience Distillation은 샘플 효율성과 지속적 학습을 결합한 새로운 접근법으로, 실제 환경 상호작용 비용을 줄이는 데 기여한다. 특히, 인공지능 에이전트가 한 번의 경험을 반복적으로 활용하지 않아도 되는 점에서 실용적 가치가 크다. 다만, 특정 도메인에서만 실험되었으며, 다양한 환경에서의 일반화 가능성은 추가 연구가 필요하다.

실용적 활용

로봇 제어, 자율 주행, 게임 AI 등 환경 상호작용 비용이 높은 분야에서 샘플 효율적인 학습을 가능하게 한다. 특히, 인간 피드백이 필요한 시스템에서 반복 훈련 없이 경험을 내재화할 수 있어 유용하다.