R2R2: Robust Representation for Intensive Experience Reuse via Redundancy Reduction in Self-Predictive Learning

For reinforcement learning in data-scarce domains like real-world robotics, intensive data reuse enhances efficiency but induces overfitting. While prior works focus on critic bias, representation-level instability in Self-Predictive Learning (SPL) under high Update-to-Data (UTD) regimes remains underexplored. To bridge this gap, we propose Robust Representation via Redundancy Reduction (R2R2), a regularization method within SPL. We theoretically identify that standard zero-centering conflicts with SPL's spectral properties and design a non-centered objective accordingly. We verify R2R2 on SPL-native algorithms like TD7. Furthermore, to demonstrate its orthogonality to prior advancements, we extend the state-of-the-art SimbaV2, which originally lacks SPL, by integrating a tailored SPL module, termed SimbaV2-SPL. Experiments across 11 continuous control tasks confirm that R2R2 effectively mitigates overfitting; specifically, at a UTD ratio of 20, it improves TD7 by ~22% and provides additional gains on top of SimbaV2-SPL, which itself establishes a new state-of-the-art. The code can be found at: https://github.com/songsang7/R2R2

📋 한 줄 요약

**[강화학습 · 표현 학습]** 데이터 희소 도메인에서 높은 UTD로 데이터를 재사용할 때 Self-Predictive Learning의 표현 수준 불안정을 분석하고 중심화 없이 중복을 줄이는 R2R2 정규화를 제안한다.

🎯 핵심 기여도

데이터 희소 RL의 데이터 재사용이 critic bias 외에 SPL 표현 수준의 불안정을 일으킴을 분석
표준 zero-centering이 SPL의 스펙트럴 성질과 충돌함을 이론적으로 규명하고 비중심화 목적을 설계
SPL native 알고리즘(예: TD7) 위에서 R2R2 효과 검증
SPL이 없던 SimbaV2에 맞춤 SPL 모듈을 결합한 SimbaV2-SPL을 만들어 11개 연속 제어 과제에서 새로운 SOTA 달성

💡 핵심 아이디어

재사용을 늘려 효율을 얻으려 하면 표현이 무너진다. R2R2는 SPL의 스펙트럴 성질에 맞는 비중심화 목적과 중복 축소 정규화로 표현 수준의 과적합을 직접 차단한다.

🔬 기술적 접근법

**모델/방법론**: SPL 안에서 동작하는 R2R2 정규화 + SPL 모듈을 결합한 SimbaV2-SPL
**핵심 기법**: 표준 zero-centering 대신 비중심화 목적을 사용하는 redundancy reduction 기반 표현 정규화

📊 주요 결과

11개 연속 제어 과제에서 R2R2가 과적합을 효과적으로 완화
UTD 20에서 TD7 대비 약 22% 향상
SimbaV2-SPL 위에 추가 적용 시에도 일관된 추가 이득 — 본 논문이 새로운 SOTA를 갱신

💭 의의 및 한계

**의의**: 데이터 희소 환경에서 데이터 효율을 끌어올릴 때 critic이 아닌 표현 수준의 안정성이 핵심 병목임을 드러내고 직접적인 처방을 제공한다. **한계**: 검증 대상이 연속 제어 과제에 집중되며 이산 행동 도메인이나 픽셀 입력 환경으로의 일반화는 후속 과제다.

🚀 실용적 활용

실세계 로봇처럼 데이터가 비싼 환경의 표본 효율 향상
높은 UTD를 사용하는 모델프리 RL 파이프라인의 안정화
기존 SOTA 알고리즘에 끼워 넣을 수 있는 직교 정규화 모듈