MANCE: Manifold Aware Concept Erasure

Concept erasure aims to remove a target concept from a representation while preserving the other information encoded in it. This is difficult because representations encode many concepts that are often correlated with the erasure target, so removing the target risks damaging them. We propose the Manifold Constraint Hypothesis (MCH): if natural representations concentrate on a structured, lower-dimensional manifold, then interventions should be constrained to that manifold and better preserve other information encoded in the representation during interventions. We instantiate MCH in a new concept erasure method: MANifold aware Concept Erasure (MANCE). MANCE performs iterative updates to the representations using signals from a classifier that predicts a target concept. We estimate the manifold using representations obtained from natural inputs, and then we project the concept removal update to the estimated manifold. We perform extensive evaluation on 119 settings spanning text and vision, including 13 language models, three NLP concepts, and 40 CelebA-CLIP attributes. Employing MANCE on top of previous methods shows consistent improved leakage results. We also introduce MANCE+ and MANCE++, which prepend a closed-form erasure algorithm before employing MANCE, achieving better leakage--surgicality tradeoffs relative to matched full-space updates. MANCE++, our best method, achieves state-of-the-art results on nonlinear concept erasure. These results support MCH in the erasure setting: interventions should be constrained to the natural representation manifold.

한 줄 요약

MANCE는 개념 제거 시 표현의 자연스러운 매니폴드에 제약을 두어, 타겟 개념을 제거하면서 다른 정보를 보존하는 새로운 방법이다.

핵심 기여도

**Manifold Constraint Hypothesis (MCH)**를 제안: 자연 표현이 구조화된 저차원 매니폴드에 집중될 경우, 개입은 해당 매니폴드에 제한되어야 다른 정보를 보존할 수 있다고 주장.
**MANCE** 알고리즘: 표현을 반복적으로 업데이트하면서, 자연 입력으로부터 추정한 매니폴드 상에 투영하여 개념 제거를 수행.
**MANCE++** 제안: MANCE 전에 **LEACE**와 **rank-2 projection**을 추가한 변형 알고리즘으로, **leakage–surgicality tradeoff**를 개선.
**119개 설정**에서 평가: 13개 언어 모델, 3개 NLP 개념, 40개 CelebA-CLIP 속성에 걸쳐 **비선형 개념 제거**에서 최고 성능 달성.

핵심 아이디어

기존 개념 제거 방법은 표현 내 여러 개념이 상관관계를 가질 때, 타겟 개념을 제거하는 과정에서 다른 정보를 손상시키는 문제가 있었다. 이에 본 연구는 표현이 자연스럽게 형성된 **저차원 매니폴드** 위에 존재한다고 가정하고, 개념 제거를 해당 매니폴드 상에서만 수행하는 **Manifold Constraint Hypothesis (MCH)**를 제안한다.

MANCE는 **classifier**를 사용해 타겟 개념을 예측하는 신호를 기반으로 표현을 반복적으로 업데이트하며, 매니폴드를 자연 입력으로부터 추정한 후, 개념 제거 업데이트를 해당 매니폴드 상에 **투영(projection)**하여 수행한다. 이는 표현 내 다른 정보를 보존하면서도 타겟 개념을 효과적으로 제거할 수 있다는 핵심 통찰을 반영한다.

기술적 접근법

**MANCE**: 반복적 업데이트를 수행하며, 매니폴드 추정은 자연 입력으로부터 얻은 표현을 기반으로 이루어짐.
**MANCE+**: **LEACE** 알고리즘을 MANCE 전에 추가.
**MANCE++**: **rank-2 projection**을 추가하여, 2차 모멘트 공분산 비대칭성을 제거.
**평가 데이터셋**: 39개 NLP 설정 (13개 언어 모델, 3개 개념), 80개 CelebA-CLIP 설정 (40개 속성, 2개 surgicality regime).
**Surgicality budgets**: ΔY ∈ {1, 3, 5, 10} pp로 설정.
**Target leakage (S)**: 비선형 MLP로 측정.
**Control evaluator (Y)**: 독립적인 평가자로 측정.

주요 결과

**MANCE++**는 **비선형 개념 제거**에서 **최고 성능**을 달성.
**CelebA-CLIP** 데이터셋에서 **40개 속성**에 대해 평가, **leakage–surgicality tradeoff** 개선.
**NLP 설정**에서 **13개 언어 모델**에 걸쳐 **3개 개념** 제거 성능 향상.
**MANCE**는 기존 방법 (INLP, LEACE, IGBP)에 추가 적용 시, **leakage**가 **일관되게 개선**됨.
**Surgicality budget** ΔY=5pp에서 **leakage**는 **기존 대비 +1.6% 개선**됨.

의의 및 한계

본 연구는 표현 개입 시 **자연 표현 매니폴드**를 고려하는 새로운 관점을 제시하며, 개념 제거의 **정확성과 보존성**을 동시에 향상시키는 방법론을 제시한다. 특히, MANCE++는 기존 방법 대비 **leakage–surgicality tradeoff**를 개선하며, **비선형 개념 제거**에서 **최고 성능**을 달성했다는 점에서 실용적 가치가 크다.

그러나, MANCE는 **매니폴드 추정**이 **로컬 1차 추정**에 의존하므로, **전역적 매니폴드 모델**이 필요하다는 한계가 있다. 또한, 매니폴드 추정의 질과 개념 제거 성능 간의 **정량적 관계**는 아직 명확하지 않다. 이는 향후 연구 주제로 제시된다.

실용적 활용

MANCE는 **개인 정보 보호**, **편향 제거**, **모델 해석성 향상** 등 다양한 AI 윤리 및 안전 분야에서 활용 가능하다. 특히, **언어 모델**과 **이미지 모델** 모두에서 평가되었으므로, **다모달러 시스템**에서의 개념 제거에도 적용 가능하다.