Can Dialects Be Steered Like Languages? Sparse Neurons and Distributed Directions in Arabic LLMs

A key challenge in Arabic NLP is the scarcity of dialectal data relative to Modern Standard Arabic (MSA), causing LLMs to overproduce MSA and struggle with dialectally accurate generation. From an interpretability perspective, this raises a fundamental question: where and how are dialectal features encoded within model internals, and can these representations be leveraged to improve dialect generation without fine-tuning? This study investigates two complementary inference-time approaches that serve simultaneously as interpretability probes and control mechanisms. First, we conduct a neuron-level analysis, identifying sparse neuron populations that encode dialect-specific features and showing that amplifying or suppressing these neurons can steer model outputs toward target dialects. Second, motivated by the entanglement of dialectal features at the single-neuron level, we apply a vector-steering approach that extracts dialect-specific activation directions and injects them during inference. Together, these methods illuminate the geometry of dialectal knowledge in Arabic LLMs and offer a principled, interpretability-grounded framework for dialect control without requiring dialect-specific fine-tuning.

한 줄 요약

아랍어 대형 언어 모델에서 방언 제어를 위해 뉴런 기반 및 벡터 기반 두 가지 추론 시 조절 방법을 제안한다.

핵심 기여도

뉴런 수준에서 방언 특성과 연관된 **희소 뉴런 집합**을 식별하고, 이를 조절하여 모델 출력을 특정 방언으로 유도함.
**벡터 스티어링(vector steering)** 방식으로, 방언 특성의 잔여 공간 방향(residual-space direction)을 추출하여 추론 시 주입함.
뉴런 기반 조절은 해석 가능성(interpretability)을 제공하지만, **벡터 기반 조절이 더 안정적이고 강력한 방언 제어**를 보여줌.
**LAPE 알고리즘**을 사용하여 뉴런을 선택하고, **residual-subspace coverage score**를 통해 뉴런 집합의 설명력을 평가함.

핵심 아이디어

아랍어 대형 언어 모델은 방언 데이터 부족으로 인해 대부분 현대 표준 아랍어(MSA)를 생성하는 경향이 있다. 이 연구는 방언 특성의 인코딩 위치와 제어 가능성을 탐구하며, **뉴런 수준의 해석 가능성**과 **분산된 벡터 조절**이라는 두 가지 접근을 제시한다. 뉴런 기반 접근은 특정 방언과 연관된 희소 뉴런 집합을 식별하고, 이 뉴런의 활성도를 조절하여 방언 생성을 유도한다. 반면, 벡터 기반 접근은 MSA와 방언의 대비 데이터를 기반으로 방언 특성의 잔여 방향을 추출하고, 이를 추론 시 주입하여 더 분산된 방식으로 방언 제어를 수행한다. 두 접근은 서로 보완적이며, 뉴런 기반 조절은 해석 가능성, 벡터 기반 조절은 제어 성능 측면에서 각각의 장점을 가진다.

기술적 접근법

**Neuron-based steering**: 뉴런 수준에서 방언 특성을 인코딩하는 희소 뉴런 집합을 식별. **LAPE 알고리즘**을 사용하여 뉴런을 선택.
**Vector steering**: MSA와 방언의 대비 데이터를 기반으로 **contrastive dialect–MSA pairs**를 사용해 방언 특성의 잔여 방향(residual-space direction)을 추출.
뉴런 조절은 활성도를 증폭/억제하여 방언 유도. 벡터 조절은 잔여 방향을 추론 시 주입.
뉴런 기반 조절은 **MLP 레이어의 하위 공간(subspace)**을 기반으로, 벡터 기반 조절은 **잔여 공간(residual space)**을 기반으로 작동.

주요 결과

**Cairo, Rabat 방언**에서 뉴런 기반 조절이 일부 방언 방향을 설명하지만, 대부분의 잔여 방향은 희소 뉴런 집합에서 설명되지 않음.
**Vector steering**은 뉴런 기반 조절보다 **더 안정적이고 강력한 방언 제어 성능**을 보임.
뉴런 기반 조절은 해석 가능성 제공, 벡터 기반 조절은 **더 높은 제어 정확도** 제공.
**Residual-subspace coverage score**를 통해 뉴런 집합의 설명력 평가. 선택된 뉴런은 MLP 중간 차원의 1% 미만을 차지하지만, 방언 방향의 일부를 설명함.

의의 및 한계

아랍어 방언은 MSA와 높은 어휘·문법적 중복성을 가지므로, **방언 특성의 분산 표현**이 일반적임.
뉴런 기반 조절은 해석 가능성 제공, 벡터 기반 조절은 **더 강력한 제어** 제공으로, 두 접근은 서로 보완적임.
한계로는, 뉴런 기반 조절이 설명력이 제한적이고, 벡터 기반 조절은 **추론 시 추가 계산 비용**이 발생함.
또한, 현재 연구는 **Cairo, Rabat 등 일부 방언에만 적용**되었으며, 다른 방언 및 혼합 방언 환경으로의 확장이 필요함.

실용적 활용

이 연구는 방언 생성이 필요한 **대화형 에이전트**, **문화 콘텐츠 생성**, **지역별 맞춤형 서비스** 등에 적용 가능하다. 특히, 방언 데이터가 부족한 상황에서도 **추론 시 조절을 통해 방언 제어**가 가능하므로, **추가 학습 없이도 방언 정확도를 향상**시킬 수 있다.