WARP: Weight-Space Analysis for Recovering Training Data Portfolios

Foundation models are routinely released to the public, yet the data recipes used to train them -- such as domain mixture weights that determine how different sources are sampled -- are rarely disclosed. This creates an access asymmetry: researchers study the resulting models but lack visibility into the training distribution that produces them. Prior works for inferring training data, such as membership inference, detect at the level of individual samples and thus cannot characterize the global composition of the training corpus. We introduce WARP, a framework that recovers a fine-tuned model's training mixtures directly from its released weights. WARP interpolates between the base and fine-tuned models using model merging, generating pseudo-checkpoints that approximate the missing training trajectory and expose a geometric footprint of the training data in the weight space. From these simulated footprints, WARP extracts geometric features and maps them to domain proportions using either a parameter-free softmax readout or an MLP projector trained on synthetic mixtures. In controlled experiments with BERT and GPT-2, WARP recovers domain mixtures with an average MAE as low as 0.046 and 0.104 respectively, outperforming membership inference and a variant with access to the true training trajectory.

한 줄 요약

WARP는 학습 데이터 분포를 모델 가중치에서 복원하는 기법으로, BERT와 GPT-2에서 평균 절대 오차(MAE) 0.046과 0.104를 달성했다.

핵심 기여도

WARP는 학습 데이터 포트폴리오를 모델 가중치에서 복원하는 프레임워크로, 중간 체크포인트 없이 모델 병합을 활용한다.
BERT와 GPT-2에서 평균 절대 오차(MAE) 0.046과 0.104를 달성하며, 멤버십 인퍼런스(MI)와 실제 학습 경로 접근법보다 우수한 성능을 보인다.
학습 경로가 완료되거나 과적합된 체크포인트에서도 정확도를 유지해 다양한 학습 레시피에 대한 견고함을 입증한다.

핵심 아이디어

WARP는 기존 학습 경로가 없어도, 기반 모델과 미세조정된 모델 간의 가중치 공간 기하 구조를 분석하여 학습 데이터 포트폴리오를 복원하는 새로운 접근법이다. 학습 데이터의 분포는 모델 가중치에 흔적으로 남아 있다고 가정하며, 이를 추출하기 위해 모델 병합(model merging)을 사용해 가상 체크포인트(pseudo-checkpoints)를 생성한다. 이 가상 체크포인트는 학습 과정을 시뮬레이션하고, 가중치 공간에서 학습 데이터의 기하적 흔적을 드러낸다. 이후, 이 기하적 특징을 도메인 비율로 매핑하는 데에는 파라미터 없는 softmax readout 또는 합성 혼합 데이터로 학습된 MLP 프로젝터가 사용된다.

기술적 접근법

**모델 병합(model merging)**: 기반 모델과 미세조정 모델 간의 가중치 공간을 선형 보간하여 가상 체크포인트를 생성한다.
**가중치 공간 기하 분석**: 가상 체크포인트에서 도출된 기하적 특징을 도메인 비율로 매핑한다.
**프로젝터**: (i) 파라미터 없는 softmax readout, (ii) 합성 혼합 데이터로 학습된 MLP 프로젝터 두 가지 방식이 사용된다.
**데이터셋**: BERT와 GPT-2를 사용한 실험에서 4개의 텍스트 데이터셋을 기반으로 평가된다.
**성능 지표**: 평균 절대 오차(MAE)를 사용하여 복원된 도메인 비율의 정확도를 측정한다.

주요 결과

BERT에서 평균 절대 오차(MAE)는 0.046, GPT-2에서는 0.104로, 멤버십 인퍼런스(MI)와 실제 학습 경로 접근법보다 우수한 성능을 보인다.
40개의 실험 시도에서 WARP는 미세조정 체크포인트에서 도메인 혼합 비율을 정확하게 복원했다.
조기 중단, 수렴, 과적합 체크포인트에서도 정확도를 유지하며, 다양한 학습 레시피에 대한 견고함을 입증했다.

의의 및 한계

WARP는 기존 접근법이 개별 샘플 수준에서만 정보를 추출하는 반면, 도메인 전체의 학습 데이터 분포를 복원할 수 있는 점에서 혁신적이다. 모델 가중치만을 사용해 중간 체크포인트 없이 학습 경로를 시뮬레이션하는 기법은, 데이터 레시피가 비공개인 경우에도 모델의 학습 과정을 분석할 수 있는 가능성을 열어준다. 그러나 WARP는 학습 데이터가 추출된 소스 데이터셋에 접근할 수 있는 조건이 필요하며, 실제 산업 모델에 적용할 경우 데이터셋 접근성 문제가 제기될 수 있다. 또한, 학습 데이터의 복잡한 혼합 비율을 완벽히 복원하는 데에는 한계가 있을 수 있다.

실용적 활용

WARP는 모델의 학습 데이터 포트폴리오를 복원할 수 있어, 모델 감사, 데이터 오염 감지, 모델 행동 해석 등에 활용될 수 있다. 특히, 데이터 레시피가 비공개인 경우에도 모델의 학습 과정을 분석할 수 있어, 연구자와 개발자들이 모델의 신뢰성과 해석 가능성을 높이는 데 기여할 수 있다.