AlphaEdit: Null-Space Constrained Knowledge Editing for Language Models

Large language models (LLMs) often exhibit hallucinations due to incorrect or outdated knowledge. Hence, model editing methods have emerged to enable targeted knowledge updates. To achieve this, a prevailing paradigm is the locating-then-editing approach, which first locates influential parameters and then edits them by introducing a perturbation. While effective, current studies have demonstrated that this perturbation inevitably disrupt the originally preserved knowledge within LLMs, especially in sequential editing scenarios. To address this, we introduce AlphaEdit, a novel solution that projects perturbation onto the null space of the preserved knowledge before applying it to the parameters. We theoretically prove that this projection ensures the output of post-edited LLMs remains unchanged when queried about the preserved knowledge, thereby mitigating the issue of disruption. Extensive experiments on various LLMs, including LLaMA3, GPT2-XL, and GPT-J, show that AlphaEdit boosts the performance of most locating-then-editing methods by an average of 36.7% with a single line of additional code for projection solely. Our code is available at: https://github.com/jianghoucheng/AlphaEdit.

한 줄 요약

AlphaEdit는 기존 지식을 유지하면서 LLM 편집 성능을 평균 36.7% 향상시키는 null-space 기반 편집 방법이다.

핵심 기여도

기존 편집 방법에서 발생하는 지식 손실 문제를 null-space projection으로 해결.
기존 편집 알고리즘에 단 1줄의 코드 추가로 평균 36.7% 성능 향상.
LLaMA3, GPT2-XL, GPT-J 등 다양한 LLM에서 실험적으로 검증.
편집 후 모델의 hidden representation 분포를 불변으로 유지.

핵심 아이디어

기존 편집 방법은 편집 대상 지식(e₁)을 최소화하면서 기존 지식(e₀)을 보존하려는 trade-off에 직면한다. 이는 편집 후 모델이 기존 지식을 잊거나, 일관성 없는 출력을 생성하는 **model forgetting** 및 **model collapse**를 유발한다. AlphaEdit은 이 문제를 해결하기 위해 기존 지식의 키 행렬 $ \mathbf{K}_0 $의 **null space**로 편집 파라미터 $ \Delta $를 투영한다. 이는 수학적으로 $ \mathbf{W} \mathbf{K}_0 = \mathbf{V}_0 $를 유지하면서 $ \Delta $가 기존 지식에 영향을 주지 않도록 보장한다. 이론적으로도 투영된 $ \Delta $가 기존 지식의 출력을 변화시키지 않는다는 점이 증명되었다.

기술적 접근법

**Locate-then-edit** 패러다임을 따르며, 편집 대상 파라미터 $ \mathbf{W} $를 특정 $ (s, r, o) $ 트리플 기반으로 식별.
편집 파라미터 $ \Delta $는 기존 지식의 키-값 행렬 $ \mathbf{K}_0 $, $ \mathbf{V}_0 $의 null space로 투영.
$ \mathbf{K}_0 $는 100,000개의 위키피디아 트리플을 사용해 생성 (차원: $ d_0 \times 100,000 $).
편집 목적 함수는 $ \min_{\Delta} \| \mathbf{W} + \Delta - \mathbf{V} \|^2 $, 여기서 $ \Delta \in \text{Null}(\mathbf{K}_0) $.
편집 후 hidden representation 분포가 기존 모델과 유사하게 유지됨을 실험적으로 확인.

주요 결과

**LLaMA3, GPT2-XL, GPT-J** 모델에서 기존 편집 방법 대비 평균 **36.7% 성능 향상**.
**MEMIT** 기반 편집에 단 1줄의 투영 코드 추가로 성능 향상.
**sequential editing** 시 **model forgetting**, **model collapse** 현상 감소.
편집 후 hidden representation 분포가 기존 모델과 유사하게 유지됨.

의의 및 한계

AlphaEdit은 기존 편집 방법의 핵심 한계인 **지식 업데이트와 보존의 trade-off**를 수학적으로 해결하며, **단 1줄의 코드 추가**로 성능을 크게 향상시킨다. 이는 LLM의 지식 업데이트를 효율적으로 수행할 수 있는 **plug-and-play 기법**으로 활용 가능하다. 그러나 $ \mathbf{K}_0 $는 실제 LLM의 전체 지식을 정확히 반영하지 못할 수 있으며, 이는 편집 성능에 영향을 줄 수 있다. 또한, 편집 대상 지식이 복잡하거나 다중 조건일 경우, 투영 기반 접근법의 한계가 드러날 수 있다.

실용적 활용

AlphaEdit는 지속적인 지식 업데이트가 필요한 **대규모 언어 모델의 유지보수**, **산업용 챗봇**, **개인화된 추천 시스템** 등에 적용 가능하다. 특히, **MEMIT,ROME 등 기존 편집 방법**과 호환되어 기존 시스템에 쉽게 통합할 수 있다.