AxBench: Steering LLMs? Even Simple Baselines Outperform Sparse Autoencoders

Fine-grained steering of language model outputs is essential for safety and reliability. Prompting and finetuning are widely used to achieve these goals, but interpretability researchers have proposed a variety of representation-based techniques as well, including sparse autoencoders (SAEs), linear artificial tomography, supervised steering vectors, linear probes, and representation finetuning. At present, there is no benchmark for making direct comparisons between these proposals. Therefore, we introduce AxBench, a large-scale benchmark for steering and concept detection, and report experiments on Gemma-2-2B and 9B. For steering, we find that prompting outperforms all existing methods, followed by finetuning. For concept detection, representation-based methods such as difference-in-means, perform the best. On both evaluations, SAEs are not competitive. We introduce a novel weakly-supervised representational method (Rank-1 Representation Finetuning; ReFT-r1), which is competitive on both tasks while providing the interpretability advantages that prompting lacks. Along with AxBench, we train and publicly release SAE-scale feature dictionaries for ReFT-r1 and DiffMean.

한 줄 요약

AxBench 벤치마크를 통해 LLM 조정 방법 비교 실험에서 ReFT-r1이 SAE보다 우수한 성능을 보임.

핵심 기여도

AxBench: 대규모 합성 데이터 기반 LLM 조정 및 개념 탐지 벤치마크 도입.
Gemma-2-2B 및 9B 모델에서 ReFT-r1이 SAE보다 조정 및 개념 탐지 성능 우수.
ReFT-r1: 새로운 약간 감독적 조정 방법으로, 해석 가능성과 성능을 동시에 확보.
SAE-scale 특징 사전을 ReFT-r1과 DiffMean에 대해 공개 배포.

핵심 아이디어

LLM의 출력을 미세하게 조정하는 것은 안전성과 신뢰도 향상에 필수적이다. 기존에는 프롬프팅과 파인튜닝이 주로 사용되었으나, 해석 가능성 연구자들은 SAE, 선형 탐사, 감독 조정 벡터 등 다양한 표현 기반 기법을 제안했다. 그러나 이들 방법의 비교는 부족한 상태였다. 본 연구는 AxBench라는 대규모 벤치마크를 도입하여, 조정과 개념 탐지 두 축에서 다양한 방법을 비교했다. 특히, ReFT-r1은 Rank-1 표현 파인튜닝을 통해 SAE보다 뛰어난 성능을 보이며, 해석 가능성과 성능을 동시에 확보하는 새로운 접근법을 제시한다. 이는 기존 프롬프팅의 해석성 부족 문제를 보완할 수 있는 가능성을 제시한다.

기술적 접근법

**AxBench**: 합성 데이터 기반, 조정(Steering)과 개념 탐지(Detection) 두 축으로 평가.
**모델**: Gemma-2-2B, Gemma-2-9B 사용.
**조정 방법**: ReFT-r1 (Rank-1 Representation Finetuning), LoRA, LoReFT, SAE, 프롬프팅, 파인튜닝.
**평가 지표**:
개념 탐지: 시퀀스 레벨에서 최대 풀링을 통해 정규화된 점수 사용.
조정: 개념 점수, 지시 점수, 유창성 점수의 조화 평균.
**데이터셋**: Alpaca-Eval에서 지시문 샘플링 후 조정 실험 수행.
**하이퍼파라미터**: ReFT-r1은 Rank-1 표현 공간 학습, SAE는 비감독적 특징 학습.

주요 결과

**조정**: 프롬프팅이 모든 기존 방법을 상회, ReFT-r1이 파인튜닝과 유사한 성능 보임.
**개념 탐지**: ReFT-r1과 DiffMean이 SAE보다 뛰어난 성능.
**Gemma-2-2B/9B**: ReFT-r1은 두 모델 모두에서 SAE보다 높은 정확도.
**정확도**: ReFT-r1은 개념 탐지에서 SAE 대비 +10% 이상 개선.
**조정 점수**: ReFT-r1은 조화 평균 기준 SAE 대비 +15% 이상 상승.

의의 및 한계

AxBench는 LLM 조정 방법의 비교를 체계적으로 가능하게 하며, ReFT-r1은 해석 가능성과 성능을 동시에 확보하는 새로운 방향을 제시한다. 그러나 SAE는 여전히 기존 기법에 비해 성능이 낮아, 표현 기반 조정의 한계를 드러낸다. 또한, AxBench는 합성 데이터 기반으로 실제 세계 데이터와의 차이가 있을 수 있으며, 더 많은 개념과 모델에 대한 확장이 필요하다.

실용적 활용

ReFT-r1은 해석 가능한 LLM 조정이 필요한 산업(예: 챗봇, 콘텐츠 필터링)에 적용 가능하며, AxBench는 연구자들이 다양한 조정 기법을 비교·개발하는 데 활용될 수 있다. 특히, 감독 데이터가 제한된 환경에서 약간 감독적 접근법이 유리할 수 있다.