Decomposing Evolutionary Mixture-of-LoRA Architectures: The Routing Lever, the Lifecycle Penalty, and a Substrate-Conditional Boundary

We decompose an evolutionary mixture-of-LoRA system on a from-scratch ~150M-parameter widened-D substrate (D=1536, V=32000; D/V approx 0.048; the "widened-1536" substrate) into three factors -- a router rewrite (parallel sigmoid gate with learnable per-adapter floor and bounded temperature anneal, fed post-stack hidden states rather than token-embedding means), a per-domain leave-one-out evaluation scope, and a lifecycle of death plus alpha-blend inheritance plus SVD mutation plus slot reallocation -- and report a 5-of-8 partial 2^3 factorial run at n=3 seeds and 25000 adaptation steps per cell. The attribution chain is sharp on this substrate: the router rewrite carries the entire +0.0426 nat balanced log-PPL improvement (Delta = log PPL_ref - log PPL_test, positive = improvement; t=12.86, p=0.006) attributed to "the full evolutionary system vs the static B3 baseline"; the headline full-system-vs-B3 balanced contrast itself is +0.015 nats, t=1.94, p=0.19 at n=3 and does not clear alpha=0.05. The per-domain evaluation scope is null at seed-resolution, and the lifecycle is a net drag of approx -0.028 nats (t=-4.46,p=0.047 in the primary chain). An auxiliary alpha=0 inheritance counterfactual at n=3 seeds is sign-inconsistent at the headline metric and underpowered for either an equivalence or load-bearing conclusion (corrected from an earlier arithmetic-mean aggregator that erroneously cleared inheritance; see Appendix B.11). A base-perturbation probe directionally refutes a "genomic-context" reframe of the lifecycle role. A controllable synthetic sandbox locates a substrate-conditional regime boundary: evolutionary search on the routing channel is load-bearing only when adapters are pre-aligned to the task; in every other regime tested it underperforms, ties, or actively degrades the gradient solution.

📋 한 줄 요약

**[LLM 아키텍처 / 인과 분석]** 진화적 Mixture-of-LoRA 시스템을 라우터 재작성, 도메인별 LOO 평가, 생애주기 3가지 요인으로 분해하여 2^3 요인 설계로 인과 기여를 측정하고, 라우터 재작성만이 유일하게 성능 개선을 견인함을 보인다.

🎯 핵심 기여도

진화적 Mixture-of-LoRA 시스템을 라우터 재작성, 도메인별 leave-one-out 평가, 생애주기(사망+α 블렌드 상속+SVD 변이+슬롯 재할당) 3가지 요인으로 분해
약 150M 파라미터 widened-1536 substrate에서 5-of-8 부분 2^3 요인 설계(n=3 시드, 셀당 25,000 스텝)로 인과 기여 측정
라우터 재작성이 전체 시스템의 +0.0426 nat 균형 log-PPL 개선 전체를 담당함을 통계적으로 입증 (t=12.86, p=0.006)
통제된 합성 sandbox로 진화적 검색이 라우팅에서 유효한 영역(어댑터가 과제에 사전 정렬된 substrate-조건적 경계) 식별

💡 핵심 아이디어

복합 시스템이 잘 작동한다고 알려졌어도, 실제로 어느 구성요소가 기여하는지 분해해보면 종종 한두 가지만 load-bearing이다. 진화적 MoE-LoRA에서 헤드라인 개선은 라우터 재작성(병렬 시그모이드 게이트, 어댑터별 학습 가능 floor, 경계 있는 온도 어닐) 단 하나에서 나오며, 생애주기 메커니즘은 오히려 약 -0.028 nats 성능 저하를 일으킨다.

🔬 기술적 접근법

**모델/방법론**: 약 150M 파라미터의 from-scratch widened-D substrate(D=1536, V=32000)에서 진화적 MoE-LoRA 시스템 분석
**핵심 기법**: 5-of-8 부분 요인 설계로 인과 기여를 분리, 라우터 재작성은 post-stack 히든 상태를 입력으로 받는 병렬 시그모이드 게이트로 구현, 생애주기는 SVD 변이와 α 블렌드 상속, 슬롯 재할당으로 구성

📊 주요 결과

라우터 재작성이 전체 +0.0426 nat 개선을 담당 (t=12.86, p=0.006)
전체 시스템 vs B3 베이스라인의 헤드라인 균형 대비는 +0.015 nats, t=1.94, p=0.19로 α=0.05 미달
도메인별 LOO 평가는 시드 수준에서 효과 없음 (null)
생애주기 메커니즘은 약 -0.028 nats의 성능 저하 (t=-4.46, p=0.047)
진화적 라우팅 검색은 어댑터가 과제에 사전 정렬된 경우에만 load-bearing

💭 의의 및 한계

**의의**: 복잡한 진화적 시스템의 "어느 부품이 실제로 일하는가"를 통계적으로 분해해 보여주는 모범적 인과 분석 사례로, MoE-LoRA 설계의 단순화 가능성을 시사한다. **한계**: 단일 substrate(150M widened-1536)와 n=3 시드라는 통계적 검정력 제약이 있으며, 헤드라인 결과 자체가 유의수준을 통과하지 못한다는 점에서 큰 모델·다른 substrate로의 일반화는 매우 제한적이다.

🚀 실용적 활용

MoE-LoRA 시스템 설계 시 불필요한 메커니즘 제거 가이드
복합 ML 시스템의 ablation·인과 기여 측정 방법론 사례
LLM 어댑터 라우팅 메커니즘 단순화 및 추론 비용 절감