Hybrid-Policy Self-Editing for Composable Unstructured Knowledge Editing

Large language models (LLMs) achieve remarkable performance across natural language tasks, yet they are trained on static corpora and their knowledge quickly becomes outdated in a fast-changing world. This motivates knowledge editing (KE), which updates specific knowledge in an LLM without changing unrelated others. Recent works move from structured knowledge triples toward unstructured KE (UKE), where the edit is a free-form passage that may state multiple facts at once. Nonetheless, existing editors inject such a passage yet fail to use it: the edited model can recall the passage, but can neither answer atomic questions about its facts nor compose them into multi-hop reasoning. We attribute this missing property, which we term composability, to editors' passive reliance on the fixed passage as the sole learning source. In response, we cast editing as a proactive self-distillation from a privileged in-context state of the same model, which requires no external supervision. We further reveal that due to the novelty of the injected knowledge, the pre-edited model's own rollouts rarely cover it, which limits the effectiveness of pure on-policy distillation. To close this gap, we propose HPSE, which builds a hybrid rollout that steps in to place missing facts onto the student's own trajectory precisely where its coverage fails, while staying on-policy elsewhere. We theoretically analyze HPSE's advantage over pure on-policy distillation, and empirically establish its plug-and-play improvements across four LLM backbones and two KE editors under various scenarios.

한 줄 요약

HPSE는 주어진 텍스트를 기반으로 LLM의 지식을 편집하면서도 분해성과 구성성을 동시에 달성하는 새로운 자기-디스틸레이션 기반 편집 방법이다.

핵심 기여도

**HPSE**를 제안하여 기존 편집 방법의 분해성과 구성성 부족 문제를 해결.
**Hybrid rollout**을 도입하여 학습 과정에서 누락된 사실을 정확히 삽입.
**MQuAKE-uns**와 **UnKEBench** 데이터셋에서 평균 +1.8점, -1.0점 개선.
**LoRA**, **gradient-based KE editors**와 호환 가능한 플러그 앤 플레이 방식.

핵심 아이디어

기존의 지식 편집 방법은 주어진 편집 텍스트를 단순히 학습하는 방식으로, 편집된 지식이 개별적인 사실로 분해되거나, 여러 사실을 결합한 추론에 활용되지 못하는 문제가 있었다. 이를 **분해성**(decomposition)과 **구성성**(composition)의 부족으로 정의하고, 이 문제를 해결하기 위해 **HPSE**(Hybrid-Policy Self-Editing)를 제안한다. HPSE는 편집 과정을 **자기-디스틸레이션**(self-distillation)으로 재구성하여, 편집 모델이 스스로 생성한 응답을 기반으로 학습하는 **on-policy distillation**을 확장한다. 그러나 편집된 지식이 새로운 경우, 기존 모델의 생성 경로가 해당 사실을 포함하지 않아 **coverage failure**가 발생한다. 이를 해결하기 위해, **privileged in-context state**가 학습 과정에 **hybrid rollout** 형태로 개입하여 누락된 사실을 정확히 삽입하도록 유도한다. 이는 기존 편집 방법과 달리 **외부 지도 없이도** 이루어지는 **proactive learning** 방식이다.

기술적 접근법

**HPSE**는 **on-policy self-distillation**을 기반으로 하되, **privileged in-context state**가 학습 과정에 개입하는 **hybrid rollout**을 도입.
**privileged in-context state**는 편집 텍스트를 포함한 문맥에서 생성된 응답을 기준으로, 학습 중 학생 모델의 경로가 누락된 사실을 감지하면 **step-in** 방식으로 개입.
**NLL anchor**를 사용하여 학습 안정성 향상.
**τ**와 **κ** 게이트를 사용해 개입 빈도 조절.
**LoRA**, **gradient-based KE editors** 등 다양한 편집 방법과 호환 가능.

주요 결과

**MQuAKE-uns** 데이터셋에서 HPSE는 기존 LoRA 기반 편집 대비 평균 +1.8점 개선.
**UnKEBench**에서 Dmp 지표는 -1.0점 감소.
**T = 10**의 연속 편집 시, **Jnt.**는 -6.3점, **Cmp.**는 -6.0점 개선.
**step-in rate**가 3라운드 내 26.8%에서 1.7%로 급격히 감소, 편집 지식 내재화 효과 확인.

의의 및 한계

HPSE는 기존 편집 방법이 갖는 **분해성**과 **구성성**의 부족 문제를 해결하며, **unstructured knowledge editing**(UKE)의 실용성을 높이는 기반을 제공한다. 특히, **privileged in-context state**를 활용한 **hybrid rollout**은 편집 지식의 누락을 보완하고, **on-policy distillation**의 한계를 극복하는 핵심 기술이다. 그러나 HPSE는 여전히 **단일 텍스트 기반 편집**에만 적용되며, **다중 편집**(lifelong editing)이나 **다모달 편집**(multimodal editing)에 대한 확장은 아직 미비하다. 또한, **τ**와 **κ** 게이트의 최적 설정은 데이터셋에 따라 달라질 수 있어, 보다 정교한 조정이 필요하다.

실용적 활용

HPSE는 **LLM 기반 지식 관리 시스템**, **실시간 정보 업데이트 플랫폼**, **대화형 AI의 지식 편집 기능** 등에 적용 가능하다. 특히, **LoRA**와 같은 경량 편집 기법과 결합하면, **실시간·저비용 지식 업데이트**가 가능해져, 산업 현장에서 즉각적인 활용이 기대된다.