Compile by Training: Turning Natural-Language Specifications into Local Neural Functions

Many recurring text functions are easy to describe but difficult to implement with rules, while calling a large remote model for every input introduces repeated cost, latency, and dependency on a provider. We present compile by training, which turns a natural-language specification into a reusable neural function. At compile time, teacher models generate task-specific examples that are used to train a small adapter for a compact interpreter. The resulting function runs without the teachers and can be stored, versioned, and composed like ordinary software. On FuzzyBench-Hard, a subset on which the Program-as-Weights fast compiler produced no exact matches, compile by training reaches 83.6% semantic accuracy. This higher accuracy comes with a higher compile-time cost: roughly a minute rather than seconds for the fast compiler. We deploy the compiler in a public interactive service and demonstrate compiled functions in a multi-site website helper, a language-controlled 3D avatar, and a bidirectional English-Claudish translator.

한 줄 요약

자연어 명세를 기반으로 로컬 신경망 함수를 생성하는 "Compile by Training" 방법을 제안한다.

핵심 기여도

PAW(LoRA) 기반 인터프리터에 학습된 어댑터를 추가하여 83.6%의 의미 정확도 달성 (FuzzyBench-Hard).
교사 모델을 활용한 예제 생성 후, 미세조정(fine-tuning)으로 컴파일.
컴파일 시간은 약 1분 (PAW의 1초 대비), 정확도 향상을 위한 추가 계산 투자.
실시간 서비스에서 활용 가능한 컴파일러를 공개하고, 웹 헬퍼, 3D 아바타, 번역기 등에 적용.

핵심 아이디어

기존 PAW는 빠른 컴파일(1초 내외)을 위해 단일 순방향 패스로 LoRA 어댑터를 생성하지만, 정확도가 낮은 경우가 많았다. 본 연구는 이와 대비되는 "Compile by Training" 접근법을 제안한다. 자연어 명세를 입력으로 받아, 교사 모델이 예제를 생성하고, 이 예제를 기반으로 LoRA 어댑터를 학습하여 인터프리터를 특수화한다. 이 방식은 PAW의 빠른 컴파일과는 달리, 학습 과정을 통해 정확도를 향상시키는 대신, 약 1분의 컴파일 시간이 소요된다. 핵심 통찰은 "신경망 함수를 소프트웨어처럼 컴파일하고 조합할 수 있다"는 점이다.

기술적 접근법

**모델**: PAW의 LoRA 기반 인터프리터 사용.
**컴파일 단계**:

1. 자연어 명세 입력.
2. 교사 모델이 예제 생성.
3. 생성된 예제로 LoRA 어댑터 학습.

**데이터셋**: FuzzyBench-Hard (PAW가 정확히 일치하지 않는 경우).
**하이퍼파라미터**: 학습 시간 약 1분, PAW의 1초 대비 60배 느림.
**결과 모델**: 컴파일된 함수는 독립적으로 실행 가능하며, 버전 관리 및 조합 가능.

주요 결과

FuzzyBench-Hard 데이터셋에서 83.6%의 의미 정확도 달성.
PAW의 빠른 컴파일(1초) 대비 60배 느림 (약 1분).
웹 헬퍼, 3D 아바타, 영-클라우디쉬 번역기 등 실제 애플리케이션에 성공적으로 적용.

의의 및 한계

**의의**: 자연어 명세를 기반으로 로컬 신경망 함수를 생성·버전 관리·조합할 수 있는 소프트웨어적 접근법을 제시.
**한계**: 컴파일 시간이 PAW 대비 60배 느려, 실시간성이 요구되는 모든 상황에 적합하지 않음. 또한, 교사 모델의 예제 품질에 따라 결과가 달라질 수 있음.

실용적 활용

웹사이트 헬퍼, 언어 제어 3D 아바타, 양방향 번역기 등 여러 애플리케이션에 적용 가능.
소규모 텍스트 처리 함수를 반복적으로 사용하는 산업에서 유용.
클라우드 의존도를 줄이고, 로컬 실행 가능한 AI 모듈을 개발하는 연구에 활용 가능.