PEFT-Arena: Understanding Parameter-Efficient Finetuning from a Stability-Plasticity Perspective

Parameter-efficient finetuning (PEFT) has become the standard approach for adapting large language models, yet evaluations largely emphasize downstream accuracy while overlooking the retention of pretrained capabilities. We argue that PEFT should be assessed through the stability-plasticity dilemma: the trade-off between target-task adaptation and resistance to forgetting. We introduce PEFT-Arena, a benchmark that jointly measures downstream performance and general capability retention. Across methods, we find distinct stability-plasticity profiles; under comparable parameter budgets, orthogonal finetuning achieves the most favorable Pareto frontier. To explain these differences, we analyze PEFT updates from two geometric perspectives. In weight space, spectral analysis reveals how parameterizations interact with the pretrained singular-value structure. In activation space, retention metrics show whether finetuning preserves or distorts general-capability representations, with forgetting linked to non-isometric representation distortion. Finally, an analysis shows that final SFT checkpoints often overshoot a better target-retention operating point. Inspired by this, we present case studies of a post-hoc improvement with path-wise rewinding.

📋 한 줄 요약

**[PEFT 평가 / Stability-Plasticity]** PEFT-Arena가 downstream 성능과 일반 capability 보존을 함께 평가 — orthogonal finetuning이 동일 budget에서 가장 favorable Pareto frontier, weight·activation 기하 분석·path-wise rewinding 후처리 제시.

🎯 핵심 기여도

Parameter-efficient finetuning(PEFT)이 LLM 적응의 표준 접근이 됐지만 평가가 주로 downstream accuracy에 emphasize되며 pretrained capability 보존을 overlook한다고 진단.
PEFT를 stability-plasticity dilemma — target-task adaptation과 forgetting 저항 사이 trade-off — 로 평가해야 한다고 주장.
PEFT-Arena 도입 — downstream 성능과 general capability retention을 동시 측정하는 벤치마크; 방법 간 distinct stability-plasticity profile 발견, 동일 parameter budget 하에서 orthogonal finetuning이 가장 favorable Pareto frontier.
차이를 설명하기 위해 PEFT update를 두 기하학 관점에서 분석 — weight space에서는 spectral analysis로 parameterization과 pretrained singular-value structure의 interaction 노출, activation space에서는 retention metric으로 finetuning이 general-capability representation을 보존·distort하는지 측정·forgetting을 non-isometric representation distortion과 연결; 최종 SFT checkpoint가 better target-retention operating point를 overshoot하는 경향 분석·path-wise rewinding의 post-hoc 개선 case study.

💡 핵심 아이디어

PEFT 평가는 stability-plasticity dilemma로 재정의해야 하며, weight space의 spectral interaction과 activation space의 non-isometric representation distortion이 forgetting의 기하학적 원인이며 — 동일 budget에서는 orthogonal finetuning이 가장 균형 잡힌 Pareto frontier를 차지하고, SFT overshoot은 path-wise rewinding으로 post-hoc 회복 가능하다.

🔬 기술적 접근법

**방법론**: PEFT-Arena 벤치마크 + 기하학적 분석 + path-wise rewinding.
**핵심 기법**: (1) Stability-plasticity dilemma로 PEFT 평가 재정의, (2) Downstream 성능·general capability retention 동시 측정, (3) Weight space spectral analysis로 parameterization과 pretrained singular-value structure interaction 분석, (4) Activation space retention metric으로 non-isometric representation distortion 측정, (5) Path-wise rewinding으로 SFT overshoot 보정 case study.

📊 주요 결과

동일 parameter budget 하에서 orthogonal finetuning이 가장 favorable Pareto frontier 차지.
Forgetting이 non-isometric representation distortion과 연관됨을 정량 분석.
최종 SFT checkpoint가 better target-retention operating point를 자주 overshoot.
Path-wise rewinding이 post-hoc으로 더 나은 trade-off 달성.

💭 의의 및 한계

**의의**: PEFT 평가 framework의 패러다임 전환, 기하학적 원인 해명, orthogonal finetuning의 우수성 정량 입증, 실용적 post-hoc 보정(rewinding) 제시. **한계**: 평가 대상 PEFT 방법 범위, weight·activation 기하 분석의 모델·task 의존성, path-wise rewinding이 case study 수준.

🚀 실용적 활용

LLM fine-tuning 방법 선택 가이드.
PEFT의 일반 capability 보존 모니터링.
Orthogonal finetuning·rewinding의 실용 적용.