Scaling up Test-Time Compute with Latent Reasoning: A Recurrent Depth Approach

We study a novel language model architecture that is capable of scaling test-time computation by implicitly reasoning in latent space. Our model works by iterating a recurrent block, thereby unrolling to arbitrary depth at test-time. This stands in contrast to mainstream reasoning models that scale up compute by producing more tokens. Unlike approaches based on chain-of-thought, our approach does not require any specialized training data, can work with small context windows, and can capture types of reasoning that are not easily represented in words. We scale a proof-of-concept model to 3.5 billion parameters and 800 billion tokens. We show that the resulting model can improve its performance on reasoning benchmarks, sometimes dramatically, up to a computation load equivalent to 50 billion parameters.

한 줄 요약

잠재 공간에서 반복적 추론을 통해 테스트 타임 계산을 확장하는 새로운 언어 모델 아키텍처를 제안한다.

핵심 기여도

**반복 블록**(recurrent block)을 사용해 테스트 타임에 임의 깊이로 풀어내는 새로운 아키텍처 제안.
**Chain-of-thought 기반 접근과 달리 특수 훈련 데이터가 필요하지 않으며, 작은 컨텍스트 윈도우에서도 작동 가능.**
**3.5B 파라미터, 800B 토큰 규모의 모델로 훈련**, 최대 50B 파라미터에 해당하는 계산 부하에서 성능 향상 관찰.
**잠재 추론**(latent reasoning)을 통해 언어 표현이 어려운 추론 유형도 포착 가능.

핵심 아이디어

기존 추론 모델은 토큰 생성을 늘려 계산을 확장하지만, 본 연구는 **잠재 공간 내 반복적 추론**(latent reasoning)을 통해 테스트 타임 계산을 확장한다. 이는 **반복 블록**(recurrent block)을 반복 실행하여 임의 깊이로 풀어내는 방식으로, 토큰 생성에 의존하지 않아 **작은 컨텍스트 윈도우**에서도 작동 가능하다. 또한, **Chain-of-thought와 달리 특수 훈련 데이터가 필요하지 않으며**, 추론 과정에서 언어화하지 않고도 추론을 수행할 수 있다. 이는 **추론 과정의 비언어화**(non-verbalization)를 가능하게 하며, 언어 표현이 어려운 추론 유형을 포착하는 데 유리하다.

기술적 접근법

**모델 아키텍처**: 레이어 구조는 (2, 4, 2)로 구성되며, **평균 반복 횟수**(mean recurrence value)는 $ \bar{r} = 32 $로 설정.
**히든 사이즈**(hidden size)는 $ h = 5280 $, 이에 따라 **MLP 내부 차원**(inner dimension)은 17920, **RMSNorm의 ε**는 $ 10^{-6} $.
**파라미터 규모**: 비반복 전처리 및 헤드(1.5B), 핵심 반복 블록(1.5B), 입력 임베딩(0.5B)으로 구성.
**초기화**: $ \sigma_h^2 = \frac{2}{5h} $ 기반의 truncated normal 분포로 초기화. **아웃-프로젝션**(out-projection)은 $ \sigma_{\text{out}}^2 = \frac{1}{5hl} $로 초기화.
**임베딩 스케일링**: $ \sqrt{h} $로 스케일링, 상태 $ s_0 $는 $ \sigma_s^2 = \frac{2}{5} $ 기반 truncated normal 분포로 샘플링.

주요 결과

**추론 벤치마크에서 성능 향상**: 최대 50B 파라미터에 해당하는 계산 부하에서 **드라마틱한 성능 향상** 관찰.
**3.5B 파라미터, 800B 토큰 규모의 모델** 훈련.
**Chain-of-thought와 달리 특수 훈련 데이터 없이도 작동**하며, **작은 컨텍스트 윈도우**에서도 성능 유지.
**비언어화 추론**(non-verbal reasoning)을 포함한 다양한 추론 유형 포착.

의의 및 한계

본 연구는 **테스트 타임 계산 확장을 위한 새로운 접근법**을 제시하며, **언어화 없이도 추론이 가능하다는 점에서 학술적·실용적 가치가 높다**. 특히, **Chain-of-thought와 달리 특수 훈련 데이터가 필요하지 않아** 데이터 효율성이 높다. 그러나 **모델은 여전히 프로토타입 수준**이며, **추가 최적화**(학습률 스케줄, 데이터 믹스, 가속기)가 필요하다. 또한, **모델의 일반화 능력**과 **다양한 추론 유형에 대한 효과성**은 추가 실험을 통해 검증되어야 한다.

실용적 활용

본 모델은 **데이터 효율적인 추론 시스템** 개발에 활용 가능하며, **작은 컨텍스트 윈도우 환경**(예: 모바일, 임베디드)에서 유리하다. 또한, **비언어화 추론이 필요한 분야**(예: 시각 추론, 수학 문제 해결)에서 활용 가능하며, **추론 과정의 비언어화**를 통해 보다 자연스러운 인공지능 대화 시스템 구현에 기여할 수 있다.