NOVA: Fundamental Limits of Knowledge Discovery Through AI

Can AI systems discover genuinely new knowledge through iterative self improvement, and if so, at what cost? We introduce the NOVA framework, which models the common ``generate, verify, accumulate, retrain'' loop as an adaptive sampling process over a knowledge space. We identify sufficient conditions under which accumulated genuine knowledge eventually covers a finite domain, and show how their violations produce distinct failure modes: contamination, forgetting, exploration failure, and acceptance failure. We then analyze imperfect verification and identify a contamination trap: as easy-to-find knowledge is exhausted, the model mass assigned to new valid artifacts shrinks, so even small false-positive rates can cause invalid artifacts to enter the knowledge base faster than genuine discoveries. We clarify that Good--Turing estimation is a local batch-diversity diagnostic, not an estimator of the historically undiscovered valid mass that governs long-term discovery. Under a separate tail-equivalence assumption relating the model's effective discovery distribution to a Zipf law with exponent $\alpha>1$, we prove that the cumulative generation cost required to obtain $D$ distinct genuine discoveries satisfies $R_{\mathrm{cum}}(D)=\Theta(c_{\mathrm{gen}}D^\alpha)$, where $c_{\mathrm{gen}}$ is the per-candidate generation cost. This scaling law quantifies asymptotic diminishing returns as the discovery frontier advances. Finally, we formalize human amplification through guidance, generation, and verification, explaining why expert input is most valuable near autonomous exploration barriers.

📋 한 줄 요약

**[AI 이론 / 지식 발견]** AI 시스템이 자기개선 루프로 새로운 지식을 발견할 수 있는지를 모델링하는 NOVA 프레임워크와, 누적 발견 비용이 D 개 발견에 대해 Θ(c·D^α)로 증가한다는 스케일링 법칙 제시.

🎯 핵심 기여도

"generate, verify, accumulate, retrain" 자기개선 루프를 지식 공간 위의 적응적 표본추출 과정으로 모델링하는 NOVA 프레임워크 제안.
누적된 진정한 지식이 유한 영역을 결국 덮기 위한 충분 조건을 정식화하고, 위반 시 발생하는 contamination, forgetting, exploration failure, acceptance failure 네 가지 실패 양상 정의.
불완전한 검증 하에서 contamination trap 식별: 쉬운 지식이 소진될수록 새 유효 산물에 할당되는 확률질량이 줄어들어 작은 false-positive율조차 무효 산물이 진정한 발견보다 빠르게 누적되게 함.
Zipf 분포 α>1 가정 하에서 누적 발견 비용이 R_cum(D)=Θ(c_gen·D^α)임을 증명, 발견 한계가 진행될수록의 점근적 수확체감을 정량화. 인간 안내·생성·검증을 통한 amplification도 형식화.

💡 핵심 아이디어

자기개선 AI의 지식 발견은 단순히 모델 크기나 컴퓨트의 함수가 아니라 적응적 표본추출 과정이며, 실패 양상과 비용 스케일링이 본질적으로 존재한다. Good-Turing 추정량은 배치 다양성의 국소 진단일 뿐 장기 발견을 지배하는 미발견 유효 질량의 추정량이 아니다.

🔬 기술적 접근법

**모델/방법론**: 지식 공간 위 적응적 표본추출 모델 NOVA, generate-verify-accumulate-retrain 루프 추상화.
**핵심 기법**: 도메인 커버리지 충분조건 정식화, 네 가지 실패 양상 분류, contamination trap 증명, tail-equivalence 가정 하 Zipf-α 스케일링 법칙 도출, 인간 amplification의 정식화.

📊 주요 결과

자기개선 루프의 충분 조건과 그 위반에서 비롯되는 네 실패 양상 분류.
contamination trap: 작은 FP율도 발견을 추월할 수 있는 임계 메커니즘.
누적 비용 R_cum(D)=Θ(c_gen·D^α): 발견이 진행될수록의 수확체감 정량화.
인간 입력이 자율 탐색 한계 근처에서 가장 큰 가치를 가짐을 형식화.

💭 의의 및 한계

**의의**: 자기개선 AI의 가능성과 비용을 형식적으로 분석한 드문 이론 프레임워크로, 안전·정책·평가 설계에 가이드 제공. **한계**: tail-equivalence와 Zipf-α 가정에 의존, 실세계 검증기 잡음 분포 정량화는 후속 실증 연구 필요.

🚀 실용적 활용

자기개선·합성 데이터 파이프라인의 contamination 위험 진단.
대규모 LLM 학습의 데이터 다양성·검증 임계치 설계 가이드.
AI 정책에서 자율 발견 위험·인간 감독 가치 평가.