Spark-to-Paper: End-to-End Research Paper Generation as a Composable Skill

Turning a research idea into a complete paper requires more than text generation: the system must retrieve literature, design and execute experiments, revise claims according to evidence, produce publication-ready figures, and maintain consistency across a long generation process. We present Spark-to-Paper, an end-to-end research paper generation system implemented as thirteen composable skills inside an existing coding assistant, without requiring a separate agent platform or orchestration service. Spark-to-Paper separates model-based judgment from deterministic operations that can be directly executed and checked. It further separates experiment planning from reporting, so that required evidence is specified before results are observed and manuscript claims are revised according to measured outcomes. To improve reliability over long research trajectories, the system combines deterministic integrity checks with self-critique and bounds a failure mode we call the Self-Refutation Loop, in which repeated experiments continue to reject the original research objective. Spark-to-Paper also produces editable vector figures through programmatic plotting for experimental results and code-based reconstruction for generated method diagrams. Across eight controlled research topics, Spark-to-Paper achieves 99.5% citation validity and 96.4% figure editability. A controlled ablation increases fabrication detection from 14% for a single-pass draft to 92% with the full integrity and review stack, while adversarial review achieves 74% precision. The full system uses 11.9M tokens, costs $8.1 per manuscript, and requires 3.2 hours on average. These results show that end-to-end research paper generation can be implemented as a lightweight, composable workflow inside existing coding assistants while keeping experimental evidence central to how claims are accepted, revised, or abandoned.

한 줄 요약

Spark-to-Paper는 기존 코드 어시스턴트 내에서 13개의 구성 가능한 스킬을 통해 연구 아이디어를 종단간 논문으로 생성하는 시스템이다.

핵심 기여도

Spark-to-Paper는 별도 에이전트 플랫폼 없이 기존 코드 어시스턴트 내에서 13개의 구성 가능한 스킬로 구현된 종단간 논문 생성 시스템이다.
실험 설계와 보고를 분리하여 실험 결과에 따라 주장 수정을 가능하게 하며, 실패 모드인 Self-Refutation Loop를 제한한다.
8개의 제어된 연구 주제에서 99.5%의 인용 유효성과 96.4%의 그림 편집 가능성을 달성했다.
완전한 검증 및 검토 스택을 사용할 때, 위조 탐지율은 14%에서 92%로 증가했으며, 적대적 검토 정밀도는 74%에 달한다.

핵심 아이디어

Spark-to-Paper는 연구 아이디어를 종단간 논문으로 생성하는 과정을, 기존 코드 어시스턴트 내에서 실행 가능한 13개의 구성 가능한 스킬로 구현한 시스템이다. 이 시스템은 모델 기반 판단과 결정적 실행을 분리함으로써 신뢰성을 높인다. 특히, 실험 설계와 보고를 분리하여, 주장에 필요한 증거를 실험 전에 명시하고, 실험 결과에 따라 주장 수정을 수행한다. 이는 과거 연구에서 흔히 발생하는 Self-Refutation Loop, 즉 실험 결과가 원래 연구 목적을 반복적으로 거부하는 실패 모드를 제한하는 데 기여한다. 또한, 그림 생성 파이프라인은 수치적 플롯과 설명적 그림을 분리하여, 실험 데이터를 기반으로 편집 가능한 벡터 PDF를 생성한다.

기술적 접근법

**스킬 기반 아키텍처**: 13개의 스킬(예: literature retrieval, experiment execution, figure generation)이 공유 프로젝트 디렉토리 내에서 아티팩트를 통해 상호작용한다.
**실험 설계 분리**: 실험 설계 단계에서 데이터셋, 베이스라인, 메트릭 등을 고정하고, 실행 단계에서 필요한 실험만 수행한다.
**Self-Refutation Loop 제한**: 실험 결과가 반복적으로 연구 목적을 거부할 경우, 실패 보고를 기록하고 새로운 아이디어로 재시작한다.
**그림 생성**: 실험 플롯은 데이터 기반으로 생성되며, 설명 그림은 이미지 생성 모델로 생성 후 코드 기반으로 편집 가능한 HTML/PDF로 재구성된다.
**결정적 인증 체크**: 실험 결과는 데이터셋, 모델 설정, 시드, 메트릭, 원본 출력으로 추적 가능하도록 보장한다.

주요 결과

**인용 유효성**: 8개의 제어된 연구 주제에서 99.5%의 인용 유효성을 달성.
**그림 편집 가능성**: 96.4%의 그림이 편집 가능한 벡터 형식으로 생성됨.
**위조 탐지율**: 단일 패스 초안에서 14% → 완전한 검증 및 검토 스택에서 92%로 증가.
**적대적 검토 정밀도**: 74%의 정밀도를 달성.
**토큰 및 비용**: 평균 11.9M 토큰, 8.1달러, 3.2시간 소요.

의의 및 한계

Spark-to-Paper는 연구 과정에서 실험적 증거를 중심으로 주장의 수용, 수정, 포기 과정을 유지하면서, 기존 코드 어시스턴트 내에서 실행 가능한 경량화된 워크플로우를 제시한다. 이는 연구 자동화 분야에서 새로운 접근 방식으로, 연구 생산성과 신뢰성을 동시에 향상시킬 수 있다. 그러나, 현재 시스템은 주장 수준의 증거 진단을 모델이 수행하며, 이는 아직 기계 검증이 아닌 상태이다. 또한, 실험 실행에 필요한 자원이 제한된 경우, 외부 데이터 수집이나 비용이 높은 실험은 실행되지 않을 수 있다.

실용적 활용

Spark-to-Paper는 연구 초기 단계에서 아이디어를 빠르게 논문 형식으로 정리하거나, 반복적인 실험 및 수정 과정을 자동화하는 데 유용하다. 특히, 소규모 연구팀이나 개별 연구자에게 연구 효율성을 높이는 도구로 활용될 수 있으며, 코드 기반 연구 환경에서의 연구 생산성 향상에 기여할 수 있다.