DecoEvo: Score-Decoupled Co-Evolution of Solver and Rubric-Generator Skills in Text Space

Text-space optimization adapts large language models (LLMs) by editing external natural-language artifacts rather than model weights, so the optimized artifacts remain inspectable and the model can be treated as a black box. However, most existing text-space methods keep evaluation fixed. On open-ended tasks, this can become a bottleneck: once the solver improves on the criteria a rubric measures, omitted dimensions remain invisible to the optimization signal. Simply evolving the rubric is also unreliable when updates are selected by the current solver's score, because apparent progress can come from making the rubric easier to satisfy. We introduce DecoEvo (Decoupled Co-Evolution), which co-evolves a solver skill and a rubric-generator skill under decoupled objectives without using gold rubrics during optimization. The solver skill is updated using criterion-level feedback, while the rubric-generator skill is revised through complementary audits of requirement coverage and response discrimination that are independent of aggregate solver score. This separation focuses generator updates on newly exposed solver weaknesses, reducing repeated emphasis on criteria the solver already satisfies. Under each benchmark's official evaluation, DecoEvo outperforms all compared methods across five benchmarks and three LLM backbones, yielding 2.8--5.0\% relative gains over SkillOpt in the five-benchmark average.

한 줄 요약

DecoEvo는 텍스트 공간 최적화를 통해 LLM의 솔버와 루브릭 생성기를 점수와 독립적으로 공진화시켜 평가 성능을 향상시킨다.

핵심 기여도

DecoEvo는 루브릭 생성기의 업데이트를 솔버의 점수와 분리하여 공진화를 수행함.
루브릭 생성기는 요구사항 커버리지와 응답 구분도를 기준으로 수정되며, 이는 솔버 점수와 독립적임.
5개 벤치마크와 3개 LLM 백본에서 평균 2.8–5.0%의 상대 성능 향상을 달성함.
기존 방법(SkillOpt) 대비 모든 15개 설정에서 최고 점수를 기록함.

핵심 아이디어

기존 텍스트 공간 최적화는 평가 기준을 고정한 채 솔버만 개선하므로, 루브릭이 누락한 차원은 최적화 신호에서 사라진다.
DecoEvo는 솔버와 루브릭 생성기를 독립적인 목표 하에 공진화시켜 이 문제를 해결한다.
루브릭 생성기는 **요구사항 커버리지**(structural audit)와 **응답 구분도**(rubric-blind near-tie comparison)를 기준으로 업데이트되며, 솔버 점수와 직접적인 연관 없이 작동한다.
이를 통해 생성기 업데이트가 현재 솔버에 유리한 기준을 강화하는 경향을 방지하고, 새로운 약점을 반영한 루브릭을 생성할 수 있다.

기술적 접근법

**DecoEvo**는 솔버와 루브릭 생성기를 **점수와 독립적으로 공진화**시킴.
솔버는 **Criterion-level feedback**을 기반으로 업데이트됨.
루브릭 생성기는 **Task-conditioned structural audit**과 **Rubric-blind near-tie comparison**을 통해 업데이트됨.
생성기 수정은 **Cross-example distillation**을 통해 재사용 가능한 원칙으로 정제됨.
**Gold-rubric supervision** 없이, **Model weight updates**도 필요하지 않음.
**Hyperparameters**는 모든 실험에서 일관되게 사용됨.

주요 결과

5개 벤치마크와 3개 LLM 백본에서 DecoEvo는 모든 15개 설정에서 최고 점수를 달성함.
SkillOpt 대비 평균 상대 성능 향상은 2.8–5.0%임.
HealthBench에서 **Contrastive auditing** 제거 시 1.7–2.1점, **Structural auditing** 제거 시 1.3–1.7점의 성능 저하 발생.
**Rubric-blind preference formation**과 **Near-tie pair selection**은 각각 1.0–1.5점의 기여도를 보임.
**Verification** 제거 시 2.4–2.9점, **Distillation** 제거 시 1.4–1.8점의 성능 저하 발생.

의의 및 한계

DecoEvo는 블랙박스 LLM에 대한 평가 아티팩트를 점수와 독립적으로 진화시키는 새로운 프레임워크로, 기존 공진화 시스템의 불안정성 문제를 완화한다.
의미 있는 성능 향상을 달성하면서도, **Gold-rubric 없이도 루브릭 생성 가능**하다는 점에서 실용적 가치가 크다.
하지만, **의료 및 글쓰기 분야 내부 이전**(within-domain transfer)에만 제한된 실험 결과이며, **다양한 백본 간 이전**(cross-backbone)이나 **다분야**(cross-domain) 실험은 아직 수행되지 않았다.
또한, **인간 평가**(human evaluation)를 통한 검증도 부재하며, 이는 향후 연구 주제로 제시된다.

실용적 활용

DecoEvo는 의료 상담, 창의적 글쓰기, 연구 지원 등 **다차원 평가가 필요한 개방형 작업**(open-ended tasks)에 적용 가능하다.
특히, **LLM의 블랙박스 특성**을 유지하면서도 **평가 기준을 동적으로 개선**할 수 있어, 모델의 신뢰성과 유연성을 동시에 높이는 데 유용하다.
의료 분야에서 **안전성**(contraindication warnings)과 같은 누락된 평가 차원을 반영하는 데 활용될 수 있다.