Dataset Distillation by Influence Matching

We revisit dataset distillation from an outcome-centric perspective. Rather than aligning process surrogates (per-step gradients or training trajectories), Influence Matching (Inf-Match) aligns the final outcome of training: it learns a compact synthetic set whose effect on the converged parameters matches that of the full dataset. Concretely, we introduce a fully differentiable, sample-level influence estimator that quantifies parameter shifts from adding or removing data, without time-consuming inverse-Hessian products or convexity assumptions. The estimator runs in linear time by unrolling the optimization dynamics and applying a first-order Taylor approximation. We then learn the synthetic set by minimizing the mismatch between its influence and that of the real dataset, yielding outcome alignment rather than heuristic process imitation. Inf-Match delivers the best accuracy across standard classification benchmarks. For instance, on Tiny-ImageNet (IPC=10), Inf-Match attains 31.5\%, a +4.7\% improvement over NCFM. Beyond classification, Inf-Match scales to vision-language distillation on Flickr30K, outperforming strong process-matching baselines. For instance, with 200 to 1000 synthetic samples, our method achieved a leading impressive average on image/text retrieval tasks, higher than NCFM by 2.5\%. The code will be released via https://github.com/hrtan/infmatch.

한 줄 요약

Inf-Match는 최종 모델 파라미터에 미치는 영향을 일치시키는 방식으로 데이터셋 디스틸레이션을 수행하여 기존 방법 대비 정확도를 향상시킨다.

핵심 기여도

**Inf-Match**라는 새로운 데이터셋 디스틸레이션 방법을 제안, **최종 파라미터 영향**(outcome alignment)을 기준으로 합성 데이터를 학습.
**전분화 가능한 샘플 영향 추정기**(differentiable sample influence estimator)를 도입, **역-헤시안 계산 없이** 파라미터 변화량을 추정.
**선형 시간 복잡도**(linear-time)로 계산 가능, **1차 테일러 근사**와 **최적화 역전개**(unrolling)를 활용.
**Tiny-ImageNet**(IPC=10)에서 31.5%, **NCFM 대비 +4.7%** 개선, **Flickr30K**에서 2.5% 상회.

핵심 아이디어

기존 데이터셋 디스틸레이션 방법은 **경사**(gradient)나 **훈련 궤적**(trajectory)과 같은 중간 과정을 모방하는 **프로세스 일치**(process matching) 기반으로 설계되었다. 그러나 이는 **최종 모델 성능**(outcome)과의 일치를 보장하지 못하며, **최적화 갭**(optimization gap)을 유발한다. Inf-Match는 이 문제를 해결하기 위해, **각 샘플이 최종 파라미터에 미치는 영향**(influence)을 정량화하고, 이를 기반으로 합성 데이터를 학습한다. 이 영향 추정기는 **1차 테일러 근사**와 **역전개 최적화 역**(unrolling optimization dynamics)을 통해 **선형 시간 복잡도**로 계산되며, **역-헤시안**(inverse-Hessian) 계산이나 **볼록성**(convexity) 가정 없이도 작동한다. 이는 기존 방법에 비해 계산 효율성과 정확도를 동시에 달성한다.

기술적 접근법

**Inf-Match**는 **bilevel optimization** 문제를 해결하며, 내부 문제는 합성 데이터셋 **𝒮**로 모델을 훈련하여 파라미터 **𝜃**를 최적화, 외부 문제는 **𝒮**를 업데이트하여 **𝒟**에 대한 손실을 최소화.
**Differentiable Sample Influence Estimator**는 **1차 테일러 근사**를 통해 파라미터 변화량을 추정하며, **역전개 최적화 역**(unrolling optimization dynamics)을 통해 **선형 시간 복잡도**로 계산.
합성 데이터셋 학습은 **실제 데이터셋의 영향과의 불일치**(mismatch)를 최소화하는 방식으로 수행.
**CIFAR-10, CIFAR-100, Tiny-ImageNet, Flickr30K** 데이터셋에서 실험.
**Real-data Initialization, Sampling Schedule, Learnable Labels** 등 구성 요소를 통합하여 **CIFAR-100 (IPC=50)**에서 57.4% 정확도 달성.

주요 결과

**Tiny-ImageNet (IPC=10)**에서 Inf-Match는 31.5% 정확도 달성, **NCFM 대비 +4.7%** 개선.
**Flickr30K**에서 200~1000개 합성 샘플로 **NCFM 대비 2.5%** 상회.
**CIFAR-100 (IPC=50)**에서 핵심 구성 요소 통합 시 57.4% 달성, **DATM(55.0%)**, **NCFM(54.7%)** 대비 우수.
**CIFAR-10, CIFAR-100**에서도 기존 방법 대비 일관된 성능 개선.

의의 및 한계

Inf-Match는 **최종 모델 파라미터 영향**(outcome)을 기준으로 합성 데이터를 학습함으로써, 기존 **프로세스 일치**(process matching) 기반 방법의 한계를 극복한다. 이는 **데이터셋 디스틸레이션의 최적화 갭**(optimization gap)을 줄이고, **실용적 성능**(accuracy)과 **확장성**(scalability)을 동시에 달성하는 데 기여한다. 특히, **역-헤시안 계산 없이도** 작동하는 **전분화 가능한 추정기**는 계산 효율성과 정확도를 결합한 새로운 접근법을 제시한다. 그러나, **복잡한 비볼록 최적화 문제**(non-convex optimization)에서의 일반화 가능성이나, **대규모 데이터셋**(web-scale)에서의 확장성은 추가 연구가 필요할 수 있다.

실용적 활용

Inf-Match는 **자율주행**, **감시 시스템**, **웹 스케일 이미지** 등 대규모 데이터를 다루는 분야에서 **데이터 저장**, **전송**, **훈련 비용**을 줄이는 데 유용하다. 또한, **프라이버시 보호 학습**(privacy-preserved learning), **연속 학습**(continual learning), **연방 학습**(federated learning) 등 **자원 제약**(resource-constrained) 환경에서 활용 가능하다.