Not all uncertainty is alike: volatility, stochasticity, and exploration

Adaptive decision-making in biological and artificial intelligence requires balancing the exploitation of known outcomes with the exploration of uncertain alternatives. Although prior work suggests that uncertainty generally promotes exploration, it has typically treated distinct sources of environmental uncertainty as equivalent. We consider environments with latent reward states that drift over time (volatility) and are observed through noisy outcomes (stochasticity). Both increase posterior uncertainty, yet we show they drive optimal exploration in opposite directions: volatility enhances it, stochasticity suppresses it. We establish this asymmetry formally by extending the Gittins index framework to Gaussian state-space bandits with latent dynamics. We further derive Cause-Aware Uncertainty-Sensitive Exploration (CAUSE), a closed-form exploration bonus obtained via control-as-inference that inherits the same monotonicities. CAUSE outperforms standard exploration strategies in environments with heterogeneous noise structure, and also improves on a Gittins-per-arm policy whose rested-bandit optimality does not transfer to restless settings. Learning and exploration are governed by the same noise-inference asymmetry, and the framework predicts that pathological noise inference produces \emph{reversed} rather than merely impaired exploration, with implications for computational accounts of psychiatric conditions.

한 줄 요약

**[강화학습 / 의사결정 이론]** posterior 불확실성을 키우는 두 원인 — 환경 변동성(volatility)과 관측 잡음(stochasticity) — 이 최적 탐험을 반대 방향으로 이끈다는 비대칭을 형식적으로 증명하고 닫힌 형태의 탐험 보너스 CAUSE 제안.

핵심 기여도

적응적 의사결정에서 "탐험을 키우는 일반화된 불확실성"이라는 통설을 반박: 잠재 보상 상태가 시간에 따라 표류하는 volatility와 잡음 관측을 통한 stochasticity는 둘 다 posterior 불확실성을 키우지만 최적 탐험을 반대 방향으로 이끔.
Gittins index 프레임워크를 잠재 동역학을 가진 Gaussian state-space bandit으로 확장해 이 비대칭을 형식적으로 입증.
control-as-inference로 동일한 단조성을 상속하는 닫힌 형태의 Cause-Aware Uncertainty-Sensitive Exploration(CAUSE) 보너스 도출.
이질 잡음 구조 환경에서 CAUSE가 표준 탐험 전략을 능가하고, rested-bandit 최적성이 restless 설정으로 이전되지 않는 Gittins-per-arm 정책도 개선함을 실험으로 입증.

핵심 아이디어

"불확실성 = 탐험 신호"라는 일원적 시각은 두 잡음 원인의 인과적 차이를 무시하고 있으며, volatility는 미래 보상 분포 변화로 정보 가치를 키우는 반면 stochasticity는 정보 가치를 깎으므로 탐험을 억제해야 한다.

기술적 접근법

**모델/방법론**: 잠재 동역학(volatility) + 잡음 관측(stochasticity)을 가진 Gaussian state-space bandit, 확장 Gittins index와 control-as-inference 결합.
**핵심 기법**: Gittins index의 monotonicity를 두 잡음 항에 대해 분리해 증명, 동일 단조성을 닫힌 형태로 상속하는 탐험 보너스 CAUSE 정의.

주요 결과

형식 결과: volatility는 최적 탐험 증가, stochasticity는 최적 탐험 감소(반대 방향).
실험: 이질적 잡음 구조 환경에서 CAUSE가 표준 탐험 전략 능가.
restless 설정에서 Gittins-per-arm 정책 대비 개선, rested-bandit 최적성이 직접 전이되지 않음을 정량 확인.
잠재 잡음 추론이 병리적으로 잘못될 경우 탐험이 "단순 손상"이 아닌 "역전"으로 나타날 수 있음을 예측 — 정신질환의 계산모델 함의 제시.

의의 및 한계

**의의**: 탐험 이론에 새 차원(불확실성 원인의 인과적 분해)을 추가, 신경과학·심리학에서 관찰되는 비정상 탐험 패턴(예: 우울·불안)을 동일 프레임에서 설명. **한계**: Gaussian state-space 가정 의존, 비정상·다중 잠재 변수 환경으로의 확장은 후속 과제.

실용적 활용

추천·광고·온라인 학습 등 restless bandit 응용에서의 잡음 인지형 탐험 정책.
신경과학·정신의학에서 탐험 행동의 계산적 진단 모델.
RL 에이전트의 환경 적응형 탐험 스케줄링.