From History to State: Constant-Context Skill Learning for LLM Agents

Large language model (LLM) agents are increasingly used to operate browsers, files, code and tools, making personal assistants a natural deployment target. Yet personal agents face a privacy-cost-capability tension: cloud models execute multi-step workflows well but expose sensitive intermediate context to external APIs, while local models preserve privacy but remain less reliable. Both settings also pay repeatedly for long skill prompts and growing histories. We propose constant-context skill learning, a context-to-weights framework for recurring agent workflows: reusable procedures are learned in lightweight task-family modules, while inference conditions only on the current observation and a compact state block. A deterministic tracker renders this state block from task progress and supplies aligned subgoal rewards, so each module can be trained with step-level SFT and refined through online RL. Across ALFWorld, WebShop, and SciWorld, our agents achieve strong performance across Qwen3-4B, Qwen3-8B and Llama-3.1-8B. With Qwen3-8B, SFT+RL reaches 89.6\% unseen success on ALFWorld, 76.8\% success on WebShop, and 66.4\% unseen success on SciWorld. They match or exceed strong published agent-training results while reducing prompt tokens per turn by 2--7$\times$ relative to controlled ReAct prompting baselines, showing that procedural context can be moved from prompts into weights.

📋 한 줄 요약

**[LLM 에이전트/RL]** 길어지는 히스토리·스킬 프롬프트를 가중치로 옮겨 매 턴 일정한 컨텍스트만 사용하는 "constant-context skill learning" 프레임워크를 제안하고, 3개 에이전트 벤치마크에서 토큰을 2–7배 줄이면서 SOTA급 성능을 달성한다.

🎯 핵심 기여도

클라우드 모델의 프라이버시·비용과 로컬 모델의 신뢰성 간 긴장을 정의하고 컨텍스트 → 가중치 전이로 해소
재사용 가능한 절차를 task-family별 경량 모듈로 학습, 추론 시에는 현재 관측과 컴팩트 state block만 조건으로 사용
결정적 tracker가 작업 진행에서 state block을 렌더링하고 정렬된 sub-goal 보상을 공급해 step-level SFT + 온라인 RL 결합 가능
ALFWorld·WebShop·SciWorld에서 Qwen3-4B/8B·Llama-3.1-8B로 강력한 성능 달성, ReAct 베이스라인 대비 토큰 2–7× 감소

💡 핵심 아이디어

긴 스킬 프롬프트와 누적 히스토리를 매 턴 다시 읽히는 비용을 없애려면, 그 절차적 지식을 모델 가중치로 흡수하고 추론 시에는 일정 길이의 상태 표현만 입력하면 된다. 결정적 tracker가 작업 진행을 상태로 렌더링해 RL 보상까지 자동으로 정렬한다.

🔬 기술적 접근법

**모델/방법론**: Qwen3-4B/8B, Llama-3.1-8B 백본 + task-family별 경량 스킬 모듈
**핵심 기법**: Figure 1의 context-to-weights 파이프라인 — 스킬을 가중치에 학습 → tracker가 state block 생성(Figure 2 ALFWorld, Figure 5 WebShop) → step-level SFT + 온라인 RL로 정제(Figure 3의 reward ablation)

📊 주요 결과

Qwen3-8B 기준 ALFWorld 89.6%(unseen), WebShop 76.8%, SciWorld 66.4%(unseen)
ReAct 베이스라인 대비 턴당 프롬프트 토큰 2–7배 감소
Figure 4: 단 5개 트라젝토리만으로는 학습 실패하지만 데이터 규모에 따라 명확한 스케일링

💭 의의 및 한계

**의의**: 긴 컨텍스트 의존을 줄여 로컬·온디바이스 에이전트의 비용·프라이버시 문제를 동시에 완화하는 실용 경로를 제시. **한계**: tracker의 결정적 렌더링이 task-family 설계에 의존하며, 새로운 도메인에서는 state block 설계 비용이 발생.

🚀 실용적 활용

로컬 LLM 기반 개인 어시스턴트(브라우저·파일·코드 자동화)
모바일·엣지에서 작동하는 비용 효율적 에이전트
반복 워크플로우가 명확한 RPA·고객지원 자동화