Reinforcement Learning with Action Chunking

We present Q-chunking, a simple yet effective recipe for improving reinforcement learning (RL) algorithms for long-horizon, sparse-reward tasks. Our recipe is designed for the offline-to-online RL setting, where the goal is to leverage an offline prior dataset to maximize the sample-efficiency of online learning. Effective exploration and sample-efficient learning remain central challenges in this setting, as it is not obvious how the offline data should be utilized to acquire a good exploratory policy. Our key insight is that action chunking, a technique popularized in imitation learning where sequences of future actions are predicted rather than a single action at each timestep, can be applied to temporal difference (TD)-based RL methods to mitigate the exploration challenge. Q-chunking adopts action chunking by directly running RL in a'chunked'action space, enabling the agent to (1) leverage temporally consistent behaviors from offline data for more effective online exploration and (2) use unbiased $n$-step backups for more stable and efficient TD learning. Our experimental results demonstrate that Q-chunking exhibits strong offline performance and online sample efficiency, outperforming prior best offline-to-online methods on a range of long-horizon, sparse-reward manipulation tasks.

한 줄 요약

Q-chunking은 오프라인-온라인 강화학습에서 탐색 효율성을 향상시키기 위해 액션 청킹을 TD 기반 RL에 적용한 간단한 방법이다.

핵심 기여도

Q-chunking은 액션 청킹을 TD 기반 RL에 적용하여 탐색 문제를 완화한다.
오프라인 데이터에서 시간적으로 일관된 행동을 학습하여 온라인 탐색을 개선한다.
$n$-step backups를 통해 TD 학습의 안정성과 효율성을 동시에 향상시킨다.
6개의 장기적, 희소 보상 조작 작업에서 기존 오프라인-온라인 방법을 초과하는 성능을 보인다.

핵심 아이디어

기존의 강화학습은 단일 액션을 예측하는 방식으로, 이는 특히 희소 보상 환경에서 탐색 효율성이 낮아진다. Q-chunking은 이 문제를 해결하기 위해 액션 청킹을 도입한다. 액션 청킹은 모방 학습에서 사용되던 기법으로, 각 타임스텝에서 단일 액션 대신 미래의 액션 시퀀스(청크)를 예측한다. 이는 비마르코비안 행동을 더 잘 모델링할 수 있게 해주며, 오프라인 데이터에서 시간적으로 일관된 행동을 학습할 수 있도록 돕는다. Q-chunking은 RL을 청크된 액션 공간에서 직접 실행함으로써, (1) 온라인 탐색을 위한 일관된 행동을 오프라인 데이터에서 활용하고, (2) $n$-step backups를 통해 TD 학습의 안정성과 효율성을 동시에 향상시킨다. 이는 $n$-step backups가 청크 길이와 일치하므로 오프-정책 편향 없이 수행될 수 있음을 의미한다.

기술적 접근법

Q-chunking은 두 가지 주요 단계로 구성된다:
1. **액션 청킹 정책 학습**: 표준 flow-matching 손실을 사용하여 오프라인 데이터에서 액션 청킹 정책을 학습한다.
2. **시간 확장 크리틱 학습**: 표준 TD 손실을 사용하여 청크된 액션 시퀀스를 고려한 시간 확장 크리틱을 학습한다.

이를 구현한 알고리즘 QC는 FQL에 Q-chunking을 적용한 QC-FQL로, 기존 오프라인-온라인 알고리즘에 최소한의 수정만으로 적용 가능하다. 액션 청킹은 $h$-step 액션 시퀀스를 예측하고, 이 시퀀스를 오픈 루프로 실행한다. 크리틱은 현재 상태와 액션 시퀀스를 입력으로 받아 전체 시퀀스의 가치를 추정한다.

주요 결과

Q-chunking은 6개의 장기적, 희소 보상 조작 작업에서 기존 오프라인-온라인 방법을 초과하는 성능을 보인다.
QC-FQL은 FQL 대비 온라인 샘플 효율성이 향상되었으며, 오프라인 성능도 우수하다.
$n$-step backups를 통해 TD 학습의 안정성과 효율성이 개선되었다.
오프라인 데이터에서 시간적으로 일관된 행동을 학습함으로써 온라인 탐색 성능이 향상되었다.

의의 및 한계

Q-chunking은 오프라인-온라인 강화학습에서 탐색 효율성과 샘플 효율성을 동시에 향상시키는 간단하고 실용적인 방법이다. 특히, 액션 청킹을 TD 기반 RL에 적용함으로써 기존의 탐색 문제를 완화하고, $n$-step backups를 통해 학습 안정성을 높이는 점에서 학술적·실용적 가치가 있다. 그러나, 청크 길이 $h$와 $n$-step의 선택은 성능에 큰 영향을 미치며, 이는 실험적 조정이 필요하다는 한계가 있다. 또한, 청크된 액션 시퀀스의 오픈 루프 실행은 환경의 불확실성에 민감할 수 있다.

실용적 활용

Q-chunking은 장기적이고 희소 보상 환경에서 탐색 효율성이 중요한 로봇 조작, 자율 주행, 게임 AI 등 다양한 분야에 적용 가능하다. 특히, 오프라인 데이터를 기반으로 온라인 학습을 효율적으로 수행해야 하는 상황에서 유용하다.