Behavioral Compositionality of Sparse Autoencoder Representations

Sparse autoencoders (SAEs) represent model activations with sparse, linearly decoded features, but the downstream effects of those features need not compose additively. We introduce SAE Additivity Residuals (SAR), which measure the behavioral variation left unexplained above a chosen interaction order. Under independent feature subset sampling, population SAR is exactly the normalized energy of interactions above that order and bounds coalition ordering error for the optimal low order approximation. To distinguish compositionality associated with the SAE representation from that induced by downstream computation, we compare learned SAE coordinates with sum preserving random rotations of the same selected subspace and find lower first order residuals for the learned coordinates across all 18 model and behavior settings. The coordinates are nevertheless not fully additive: pairwise terms improve held out coalition ordering in every setting and outperform parameter matched models using randomly selected third order terms. In a combined steering experiment, pairwise modeling raises rank fidelity from 0.5874 to 0.7790 and reduces ordering error from 0.1444 to 0.0606. Together, these results show that SAE coordinates support comparatively compositional behavioral descriptions while faithful joint explanations and interventions still require interactions beyond individual feature effects. Code is available at https://github.com/OpenSAE/SAE-Behavioral-Compositionality.

한 줄 요약

희소 오토인코더(SAE) 좌표는 행동적 구성성을 비교적으로 지원하지만, 완전한 가산성은 요구되지 않는다.

핵심 기여도

SAE Additivity Residuals (SAR)를 도입하여 특정 상호작용 차수 이상의 행동적 변동을 측정.
18개 모델 및 행동 설정에서 학습된 SAE 좌표가 랜덤 회전 좌표보다 1차 잔차가 낮음.
쌍별 상호작용이 모든 설정에서 0.1444 → 0.0606의 순서 오차 감소를 유발.
합성 조정 실험에서 순위 신뢰도가 0.5874 → 0.7790으로 향상됨.

핵심 아이디어

기존 SAE는 활성화를 희소하고 선형적으로 복호화하지만, 이 특성이 행동적 효과에 가산적으로 작용하는지는 명확하지 않았다. 본 연구는 SAR을 도입하여, 특정 차수 이상의 상호작용이 행동에 미치는 영향을 정량화한다. SAR은 독립적인 특징 부분집합 샘플링 하에서, 해당 차수 이상의 상호작용의 정규화된 에너지와 동일하며, 최적의 저차원 근사의 순서 오차를 제한한다. 이를 통해, SAE 좌표가 유도하는 구성성과 이후 계산에 의한 구성성을 구분할 수 있다. 학습된 좌표가 랜덤 회전 좌표보다 1차 잔차가 낮다는 점은, 좌표 선택이 행동적 설명에 영향을 미친다는 것을 보여준다.

기술적 접근법

**SAR 계산**: 각 프롬프트에서 선택된 복호화 기여의 부분집합을 유지하며, 나머지 활성화를 고정하여 행동 반응을 생성.
**SAR 1**: 1차 잔차는 개별 특징 효과로 설명되지 않는 행동적 변동.
**SAR 2**: 쌍별 상호작용을 고려한 2차 잔차.
**Δ₂ = SAR₁ − SAR₂**, **ρ₂ = Δ₂ / SAR₁**으로 1차 잔차 중 쌍별 상호작용이 차지하는 비율 계산.
**K = 16**개의 활성 SAE 기여 선택, 384개의 컨소시엄 샘플링 (256개는 피팅, 128개는 평가).
**Gemma-3 4B, Mistral-7B, Llama-3.1 8B** 모델과 **6개 행동 읽기** 사용.

주요 결과

**18개 설정**에서 학습된 SAE 좌표의 1차 잔차가 랜덤 회전 좌표보다 낮음.
**쌍별 모델링**이 모든 설정에서 순서 오차를 0.1444 → 0.0606로 감소.
**합성 조정 실험**에서 순위 신뢰도가 0.5874 → 0.7790로 향상됨.
**랜덤 3차 항** 대비 쌍별 항이 매개변수 일치 모델에서 더 우수한 성능.

의의 및 한계

본 연구는 SAE 좌표의 행동적 구성성을 정량화하는 새로운 지표(SAR)를 제시하며, 학습된 좌표가 랜덤 회전 좌표보다 더 낮은 차수로 행동을 설명할 수 있음을 보여준다. 이는 SAE 기반 설명 및 조정의 신뢰도를 높이는 데 기여할 수 있다. 그러나, 개별 특징 효과만으로는 충분하지 않으며, 쌍별 상호작용이 여전히 중요하다는 점은 한계로 작용한다. 또한, SAR의 해석은 선택된 기여, 행동 읽기, 개입 분포에 따라 달라지며, 전역적 성질이 아님을 강조한다.

실용적 활용

본 연구는 SAE 기반 모델 설명 및 조정에서 특징 상호작용의 중요성을 고려할 수 있는 기반을 제공한다. 특히, 자연어 처리, 모델 해석, 행동 조정 등에서 SAE 좌표의 구성성을 정량적으로 평가하고 개선하는 데 활용 가능하다.