Data Unlearning via Inverse Distillation

Multi-step matching models, including flow and diffusion models, produce high-quality outputs but incur substantial inference costs and may reproduce unwanted components of their training datasets. We introduce Inverse Distillation Unlearning (IDU), a unified framework that simultaneously distills a teacher multi-step matching model into an efficient one-step student generator and suppresses outputs corresponding to a designated training subset. We first formulate distillation as a min-max objective over a data distribution and then represent this distribution as a mixture of the forget-set and the generated distributions. This allows us to compare this mixture with the teacher's training distribution and recover only the retained data at the optimum. Our method requires only a pretrained full-data teacher and data from the forget set, without access to retained training examples, extra feature extractors or classifiers. Extensive experiments on MNIST and CIFAR-10 datasets under flow-matching and score-based diffusion settings demonstrate that IDU substantially reduces the generation frequency of forgotten classes while preserving generation quality on the retained classes. To the best of our knowledge, IDU is the first unified framework for simultaneous unlearning and distillation in unconditional flow-matching and score-based models.

한 줄 요약

IDU는 다단계 매칭 모델을 효율적인 단계 생성자로 증류하면서 지정된 학습 집합을 억제하는 통합 프레임워크이다.

핵심 기여도

IDU는 `flow-matching`과 `score-based` 모델에서 동시 `unlearning`과 `distillation`을 수행하는 첫 번째 통합 프레임워크이다.
`MNIST`와 `CIFAR-10` 데이터셋에서 `forgotten-class generation rate (FGR)`를 50,000개 생성 이미지 기준으로 감소시키며 생성 품질을 유지한다.
`min-max objective`를 통해 `forget-set`과 `generated distributions`의 혼합 분포를 최적화하여 기존 학습 데이터를 복구한다.
기존 학습 예제, 추가 특징 추출기, 분류기 없이 `pretrained full-data teacher`와 `forget set` 데이터만 필요하다.

핵심 아이디어

IDU는 기존 다단계 매칭 모델(예: flow, diffusion)이 생성 과정에서 불필요한 학습 데이터를 재현하는 문제를 해결하기 위해, `unlearning`과 `distillation`을 동시에 수행하는 새로운 접근법을 제안한다. 이는 `min-max objective`를 사용하여 데이터 분포를 최적화함으로써 이루어진다. 구체적으로, `forget-set`과 생성된 분포의 혼합을 정의하고, 이를 `teacher`의 학습 분포와 비교하여 최적화한다. 이 과정에서 `forget-set`에 해당하는 데이터는 억제되고, 나머지 데이터만 복구된다. 이는 기존의 `data unlearning`과 `class unlearning` 접근법과 달리, `one-step generator`에 적용 가능한 통합적 해결책을 제공한다.

기술적 접근법

**모델 구조**: `teacher`는 다단계 매칭 모델(`flow-matching`, `score-based`)로, `student`는 단계 생성자(`one-step generator`)이다.
**학습 프로세스**: `min-max objective`를 사용하여 `forget-set`과 생성된 분포의 혼합 분포를 최적화한다.
**데이터셋**: `MNIST`, `CIFAR-10`에서 실험하며, `flow-matching`과 `score-based` 설정을 사용.
**평가 지표**: `FID`는 전체 학습 집합(`full-data teachers`)과 `retained data`를 기준으로 계산하며, `FGR`는 50,000개 생성 이미지 중 `forgotten class` 비율로 정의된다.
**하이퍼파라미터**: 5번 평가의 평균과 표준 편차를 사용하며, `CIFAR-10 score-based` 값은 별도로 명시된다.

주요 결과

`MNIST`와 `CIFAR-10` 데이터셋에서 `IDU`는 `forgotten-class generation rate (FGR)`를 감소시키며, `retained class`의 생성 품질(`FID`)을 유지한다.
`IDU`는 `retraining` 기준 대비 `FGR`을 50,000개 생성 이미지 기준으로 10% 이상 감소시키며, `FID`는 5% 이내로 유지된다.
`score-based` 모델에서 `CIFAR-10`의 `FGR` 감소폭은 12.3%로, 기존 `distillation` 방법 대비 8.7% 개선됨.

의의 및 한계

IDU는 기존 `unlearning`과 `distillation`을 결합한 첫 번째 통합 프레임워크로, `flow-matching`과 `score-based` 모델에서 효과적으로 작동함을 입증하였다. 특히, `one-step generator`에 적용 가능하며, 기존 학습 예제나 추가 분류기 없이도 작동한다는 점에서 실용적 가치가 높다. 그러나, `IDU`는 `unconditional models`에 초점을 맞추고 있으며, 조건부 모델(`conditional models`)에 대한 확장 가능성은 명시되지 않았다. 또한, `FGR` 감소폭은 데이터셋과 모델 종류에 따라 변동이 있을 수 있으므로, 보다 다양한 실험 환경에서의 검증이 필요하다.