Abstract
LLM-based Triton kernel generation has attracted significant interest, yet a fundamental empirical question remains unanswered: where does this capability break down, and why? We present KernelBench-X, a benchmark designed to answer this question through category-aware evaluation of correctness and hardware efficiency across 176 tasks in 15 categories. Our systematic comparison of five representative methods yields three main findings. First, task structure determines correctness more than method design. Category explains nearly three times more variance in semantic correctness than method (9.4% vs 3.3% explained deviance), and 72% of Fusion tasks fail across all five methods while Math tasks are solved consistently. Second, iterative refinement improves correctness, but not performance. Across GEAK iterations, compile rate rises from 52.3% to 68.8% while average speedup declines from 1.58times to 1.44times; newly rescued kernels consistently underperform persistently correct ones (1.16times vs 1.58times speedup in round~0to1). Third, correctness does not imply efficiency. 46.6% of correct kernels are slower than the PyTorch eager baseline, and cross-hardware speedup variance reaches 21.4times. Besides, quantization remains completely unsolved (0/30 successes) despite non-trivial compilation rates, revealing systematic misunderstanding of numerical computation contracts rather than surface-level syntax errors. These findings suggest that future progress depends on handling global coordination, explicitly modeling numerical precision, and incorporating hardware efficiency into generation. The code is available at https://github.com/BonnieW05/KernelBenchX
한국어 요약
📋 한 줄 요약
**[벤치마크/시스템]** LLM이 생성한 GPU 커널의 정확성과 효율성을 카테고리 단위로 평가하는 KernelBench-X 벤치마크를 제안한다.
🎯 핵심 기여도
- 15개 카테고리, 176개 태스크로 구성된 LLM Triton 커널 생성용 종합 벤치마크 KernelBench-X 공개
- 5개 대표 방법론에 대한 카테고리 인지(category-aware) 비교 평가
- 정확성·하드웨어 효율성 분리 분석을 통해 "옳음 ≠ 빠름" 사실을 정량화
- 정량화(quantization) 작업의 0/30 실패 등 체계적 실패 패턴 식별
💡 핵심 아이디어
LLM이 생성한 GPU 커널 능력의 한계가 어디에서, 왜 무너지는지를 작업 구조 관점에서 분석한다. 방법(method)보다 태스크 카테고리가 정확성을 약 3배 더 강하게 설명하며, 반복적 정제는 정확성은 올리지만 성능은 오히려 떨어뜨린다.
🔬 기술적 접근법
- **모델/방법론**: 5개 대표 LLM 커널 생성 기법(GEAK 포함)을 동일 평가 프로토콜로 비교
- **핵심 기법**: 15개 카테고리별 정확성/속도 분리 측정 + 다중 하드웨어 교차 평가 + GEAK 라운드별 컴파일률·속도 추적
📊 주요 결과
- Fusion 태스크 72%가 5개 방법 모두에서 실패, Math 태스크는 일관되게 해결
- GEAK 반복으로 컴파일률 52.3% → 68.8% 상승, 평균 속도는 1.58× → 1.44×로 감소
- 정확한 커널 중 46.6%가 PyTorch eager 베이스라인보다 느림, 하드웨어 간 속도 분산 최대 21.4×
- 정량화 태스크는 0/30, 수치 계약 이해 부재 노출
💭 의의 및 한계
**의의**: GPU 커널 생성 LLM 평가의 표준 프레임을 제공하고, 향후 연구의 우선순위(글로벌 조정, 수치 정밀도 모델링, 효율성 통합)를 명확히 제시. **한계**: 176개 태스크와 5개 기법으로 한정되어 있으며, Triton 외 커널 언어와 신형 하드웨어 일반화는 추가 검증이 필요.
🚀 실용적 활용
- LLM 기반 GPU 커널 자동 생성기의 표준 평가 도구
- 컴파일러 팀 및 GPU 벤더의 LLM 커널 합성 능력 진단
- 향후 코드 LLM의 수치/정밀도 추론 및 하드웨어 인식 학습 데이터 설계 가이드