Conditional Attribute Estimation with Autoregressive Sequence Models

Generative models are often trained with a next-token prediction objective, yet many downstream applications require the ability to estimate or control sequence-level properties. Next-token prediction can lead to overfitting of local patterns during training, underfitting of global structure, and requires significant downstream modifications or expensive sampling to guide or predict the global attributes of generated samples at inference time. Here, we introduce Conditional Attribute Transformers, a novel method for jointly estimating the next-token probability and the value of an attribute conditional on each potential next token selection. This framework enables three critical capabilities within a single forward pass, without modification of the input sequence: (1) per-token credit assignment across an entire sequence, by identifying how each token in a sequence is associated with an attribute's value; (2) counterfactual analysis, by quantifying attribute differences conditional on alternative next token choices; (3) steerable generation, by decoding sequences based on a combination of next-token and attribute likelihoods. Our approach achieves state of the art performance on sparse reward tasks, improves next-token prediction at sufficient model sizes, estimates attribute probabilities orders of magnitude faster than sampling, and can guide decoding of autoregressive sequence models on a range of language tasks.

📋 한 줄 요약

**[Generative Models / Sequence Modeling]** 다음 토큰 확률과 함께 각 후보 토큰을 조건으로 한 시퀀스 속성 값을 동시에 추정하는 Conditional Attribute Transformers를 제안하여, 토큰 단위 credit assignment·반사실 분석·조향 생성을 한 번의 forward pass로 실현한다.

🎯 핵심 기여도

next-token prediction이 국소 패턴에 과적합되고 전역 속성 제어가 어렵다는 한계를 지적, 시퀀스 속성과 다음 토큰을 함께 추정하는 새로운 학습 목표 제안
각 잠재 후보 토큰에 조건부로 속성 값을 추정하여, 한 번의 forward pass에서 (1) 토큰별 credit assignment, (2) counterfactual 분석, (3) steerable generation을 모두 지원
sparse reward 태스크에서 SOTA 성능을 보이며, 충분한 모델 규모에서는 일반 next-token prediction 성능도 동시에 개선
속성 확률 추정 비용을 샘플링 대비 수십~수만 배 빠르게 줄임으로써 inference 시 속성 제어 비용을 크게 절감

💡 핵심 아이디어

"속성을 조건으로 시퀀스를 만들기"를 위해 별도의 컨디셔닝이나 비싼 샘플링에 의존하는 대신, 모델이 학습 단계에서 next token과 그 token이 선택될 때 시퀀스 속성이 어떻게 될지를 동시에 학습하도록 만든다. 그 결과 같은 forward 결과 안에서 credit assignment와 counterfactual, steering이 자연스럽게 따라온다.

🔬 기술적 접근법

**모델/방법론**: 자기회귀 시퀀스 모델에 속성 추정 헤드를 결합한 Conditional Attribute Transformers
**핵심 기법**: 각 후보 next token에 대해 condition된 attribute likelihood를 함께 출력하는 학습 목표, 그리고 next-token likelihood와 attribute likelihood의 결합을 통한 steerable decoding

📊 주요 결과

sparse reward 태스크에서 state-of-the-art 성능 달성
충분히 큰 모델 규모에서 일반 next-token prediction 성능 동시 향상
속성 확률 추정 속도가 샘플링 대비 orders of magnitude 더 빠름, 다양한 언어 태스크에서 효과적 가이드 생성

💭 의의 및 한계

**의의**: 별도 reward 모델·복잡한 RL·반복 샘플링 없이도 시퀀스 속성을 직접 모델 안에 내재화하는 깔끔한 학습 패러다임을 제시. **한계**: 학습 시 attribute 정의·라벨링이 필요하고, 정의 가능한 attribute에 적용 범위가 제한될 수 있음.

🚀 실용적 활용

안전·정중함·길이 같은 텍스트 속성에 대한 효율적 controllable generation
RL·rejection sampling 없이 reward-aware decoding
단백질·코드·음악 등 자기회귀 시퀀스 모델에서의 속성 기반 조향 생성