Abstract
Transfer learning in reinforcement learning (RL) seeks to accelerate learning in new tasks by leveraging knowledge from related sources. Existing neurosymbolic transfer methods, however, typically rely on manually specified task automata, assume a single source task, and use fixed knowledge-integration mechanisms that cannot adapt to varying source relevance. We propose LANTERN, a unified framework for multi-source neurosymbolic transfer that addresses these limitations through three components: (i) deterministic finite automata generated from natural language task descriptions using large language models, (ii) semantic embedding-based aggregation of multiple source policies weighted by cross-task similarity, and (iii) adaptive teacher-student gating based on temporal-difference error and semantic uncertainty. Across domains spanning resource management, navigation, and control, LANTERN achieves 40-60% improvements in sample efficiency over existing baselines while remaining robust to poorly aligned sources. These results demonstrate that multi-source, adaptively weighted neurosymbolic transfer can improve scalability and robustness in symbolic RL settings.
한국어 요약
📋 한 줄 요약
**[강화학습/뉴로심볼릭]** 자연어 작업 설명에서 LLM이 자동 생성하는 DFA, 의미 임베딩 기반 다중 소스 정책 집계, 적응형 teacher-student 게이팅을 결합한 멀티소스 뉴로심볼릭 전이학습 프레임워크 LANTERN을 제안한다.
🎯 핵심 기여도
- 수작업 task automaton·단일 소스 가정·고정 통합 메커니즘이라는 기존 뉴로심볼릭 전이의 3가지 한계를 동시에 해소
- LLM으로 자연어 작업 설명에서 DFA(결정성 유한 오토마타)를 자동 생성
- 작업 간 의미 유사도로 가중되는 다중 소스 정책 임베딩 기반 집계 도입
- TD 오류와 의미 불확실성에 따라 적응적으로 작동하는 teacher-student 게이팅 제안, 샘플 효율 40–60% 개선
💡 핵심 아이디어
다중 소스 전이는 소스 정책의 관련성이 매번 다르다. 자연어로부터 자동 생성된 DFA, 정책 임베딩 가중 집계, RL 진행 상황(TD 오류·의미 불확실성)에 따른 동적 게이팅을 결합하면 정렬이 약한 소스에도 강건하게 적응할 수 있다.
🔬 기술적 접근법
- **모델/방법론**: LLM이 자연어 → DFA 변환, 다수 소스 정책의 임베딩 기반 가중 집계
- **핵심 기법**: 작업 유사도로 가중 결합한 source policy aggregation + TD 오차/의미 불확실성 기반 teacher-student gating으로 소스/자기학습 비율을 단계별 조절
📊 주요 결과
- 자원 관리, 내비게이션, 제어 도메인 전반에서 베이스라인 대비 샘플 효율 40–60% 향상
- Figure 1(Dungeon Quest, Blind Craftsman)의 메인 결과에서 일관된 우위
- Figure 2 ablation: 다중 소스 집계, DFA 생성, 적응형 게이팅이 시너지로 성능 견인
💭 의의 및 한계
**의의**: 뉴로심볼릭 RL에서 사람이 작성하던 automaton·고정 결합기를 자동·적응형으로 대체할 수 있음을 보여준 통합 프레임워크. **한계**: LLM의 DFA 생성 품질에 의존하며, 소스가 매우 이질적인 환경에서의 일반화는 추가 검증이 필요하다.
🚀 실용적 활용
- 시뮬레이션 기반 게임/로봇 제어의 빠른 도메인 적응
- 산업 자동화에서 기존 컨트롤러 정책의 멀티 소스 재활용
- 자연어 명세만으로 RL 보상 구조를 부트스트랩하는 LLM-RL 파이프라인