The Loss Does Not See the Basis, but Adam Does

Gradient descent on a factored model W = UV^top is implicitly biased toward low-rank solutions, while Adam, starting from the same small initialization, is not. We trace the difference to the gauge symmetry of the loss, its invariance under (U, V) mapsto (UQ, VQ). Gradient flow's low-rank mechanism is available to an optimizer only if that optimizer is gauge-equivariant, a condition necessary for the transfer but not sufficient for low-rank recovery. Gradient descent, momentum, "shared-scalar" Adam, Muon, and Shampoo satisfy it. Adam, RMSProp, and the other coordinate-wise methods do not. A structure theorem characterizes the memoryless equivariant rules as exactly the Gram-determined left preconditioners, and a transfer theorem carries gradient flow's pathwise properties to common-scalar flows. We then sort nine update rules on underdetermined matrix sensing by recovery error against the planted ground truth. A one-parameter family from coordinate-wise to shared-scalar preconditioning restores the bias monotonically, isolating anisotropy as the cause. A "spectral schedule" reconciles two opposing reports about Muon: equal-rate updates recover exactly low-rank targets but lose their edge as the spectral tail grows. In transformers, Adam separates two gauge-equivalent initializations at the first step, where the equivariant optimizers stay at float precision, and ends with the per-head invariants W_Q^top W_K 56% apart in relative Frobenius distance, a gap no per-head rotation can close. On two hyperspectral datasets at matched training loss, gradient descent cuts held-out error by 43-44% at the lowest sampling density, and at lower effective rank. Basis choice is therefore not a tuning detail but a decision about which interpolant the optimizer selects.

한 줄 요약

Adam 최적화기는 기저 선택에 민감해 저축도 해를 찾지 못하지만, equivariant 최적화기는 저축도 성능을 보인다.

핵심 기여도

Adam과 같은 coordinate-wise 최적화기는 저축도 해를 찾지 못하며, W_Q^T W_K 불변량이 56% 차이남.
Equivariant 최적화기 (SGD, shared-scalar Adam, Muon, Shampoo)는 저축도 해를 복구하며, 기저 변환에 불변.
Adam은 1단계에서 gauge-equivalent 초기화를 분리하며, logit 차이가 3.6×10⁻³로 나타남.
Gradient descent는 2개의 하이퍼스펙트럼 데이터셋에서 43-44%의 테스트 오류 감소를 기록.

핵심 아이디어

기저 선택은 단순 튜닝이 아니라 최적화기의 해 선택에 직접적인 영향을 미친다.
W = UV^T 형태의 인수분해 모델에서 손실함수는 (U, V) ↦ (UQ, VQ) 형태의 기저 변환에 불변하며, 이를 gauge symmetry라 한다.
이러한 대칭성을 유지하는 최적화기(equivariant)만이 경사하강법과 유사한 저축도 경로를 따라갈 수 있다.
Adam과 같은 coordinate-wise 최적화기는 기저에 따라 다른 해를 선택하며, 이는 테스트 성능 저하로 이어진다.
W_Q^T W_K 불변량이 56% 차이 나는 것은 기저 선택이 모델 구조에 영향을 미친다는 증거이다.

기술적 접근법

모델: W = UV^T 형태의 인수분해 모델
손실함수: L(U, V) = f(UV^T), 기저 변환 (U, V) ↦ (UQ, VQ)에 불변
최적화기: equivariant (SGD, momentum, shared-scalar Adam, Muon, Shampoo), non-equivariant (Adam, RMSProp, signSGD, Lion, Adafactor)
실험: 9개의 업데이트 규칙을 underdetermined matrix sensing 문제에서 recovery error로 평가
수치: Adam의 logit 차이 3.6×10⁻³, equivariant 최적화기의 logit 차이 2.9×10⁻⁷
W_Q^T W_K 불변량: 56%의 상대 Frobenius 거리 차이

주요 결과

Adam은 1단계에서 gauge-equivalent 초기화를 분리하며, logit 차이 3.6×10⁻³
W_Q^T W_K 불변량은 56% 차이로, 기저 회전으로는 닫을 수 없는 구조 차이
Gradient descent는 2개의 하이퍼스펙트럼 데이터셋에서 43-44%의 테스트 오류 감소
Coordinate-wise 최적화기는 저축도 해를 찾지 못하며, 높은 랭크의 해로 수렴
Shared-scalar Adam은 기저 의존성을 제거하며, equivariant 최적화기와 유사한 성능 보임

의의 및 한계

기저 선택은 단순 튜닝이 아니라 최적화기의 해 선택에 직접적인 영향을 미친다.
Adam과 같은 coordinate-wise 최적화기는 테스트 성능에 부정적 영향을 줄 수 있으며, 이는 기저 의존성에서 비롯됨.
Equivariant 최적화기는 저축도 해를 복구하며, 모델 구조의 일관성을 유지.
한계: coordinate-wise 최적화기가 저축도 해에 도달할 수 없는 것은 확실하지 않으며, 다른 경로로는 가능할 수도 있음.
Muon의 경우, spectrum schedule에 따라 정확한 저축도 해를 복구하지만, 스펙트럼 꼬리가 커지면 성능 저하.

실용적 활용

Transformer 모델에서 Adam은 기저 선택에 따라 서로 다른 해를 생성하며, 이는 모델 일관성을 저해.
하이퍼스펙트럼 이미지 분석과 같은 저축도 복구 문제에서는 gradient descent나 shared-scalar Adam이 유리.
기저 의존성을 줄이고 일관된 해를 선택하기 위해 equivariant 최적화기를 사용하는 것이 바람직.