MetaKernelBench: Measuring GPU Kernel Knowledge Transfer Beyond Code

Recent GPU kernel optimization agents retain what they learn in knowledge bases or as distilled skills. Kernel benchmarks score each attempt's implementation for correctness and speed but leave the reuse value of retained experience unmeasured. We introduce MetaKernelBench, which measures whether experience distilled from an attempt in one kernel domain-specific language (DSL) improves a fresh attempt at the same problem in another. Its 74 problems are fused subgraphs in six families, each posed as a pair of CuTe DSL and TIRx variants that differ only in the DSL. The agent first attempts each variant solo and is instructed to distill what it learns into a natural-language skill, which is transferred whether or not the source attempt passes verification. The skill is the only extra input to a skill-conditioned attempt by the same model in the other DSL. We compare each skill-conditioned attempt with the solo attempt on the same variant under matched per-attempt budgets, scoring correctness and end-to-end runtime. Across six models and both directions, paired lift over solo attempts ranges from -19% to +29%. Four models gain in both directions, yet regressions occur on 16% to 45% of problems in every model and direction. Outcomes follow the source attempt's result relative to the target's solo attempt rather than source success alone, improving in 71% of comparisons when the source stands above and regressing in 54% when it stands below. MetaKernelBench complements implementation-quality metrics by measuring same-problem cross-DSL kernel knowledge transfer.

한 줄 요약

MetaKernelBench는 동일 문제에서 다른 DSL 간 GPU 커널 지식 전이를 평가하는 벤치마크로, 74개 문제와 6개 모델을 기반으로 성능 향상 및 후퇴를 측정한다.

핵심 기여도

MetaKernelBench를 제안하여, 동일 문제에서 CuTe DSL과 TIRx DSL 간 커널 지식 전이를 평가.
74개의 문제를 6개 가족으로 구성, 각 문제는 DSL만 다른 두 변형으로 구성.
6개 모델을 대상으로 한 실험에서, 페어드 리프트(paired lift)가 -19%에서 +29% 범위로 나타남.
성능 개선은 71%에서, 후퇴는 54%에서 발생하며, 전이 성능은 소스 실행 결과에 따라 달라짐.

핵심 아이디어

MetaKernelBench는 기존 커널 최적화 에이전트가 학습한 경험을 다른 DSL에서 재사용할 수 있는지 평가하는 새로운 차원의 메트릭을 제시한다. 기존 벤치마크는 개별 실행의 정확성과 속도만 평가하지만, MetaKernelBench는 동일 문제에서 다른 DSL 간 지식 전이의 가치를 측정한다. 핵심 아이디어는, 에이전트가 첫 번째 DSL에서 실행한 후 자연어로 요약한 '스킬(skill)'을, 동일 문제의 다른 DSL 실행에 조건으로 전달하는 방식이다. 이는 소스 실행이 성공하든 실패하든 관계없이 적용되며, 전이된 정보가 목표 실행에 실제로 도움이 되는지를 비교 평가한다.

기술적 접근법

**DSL 쌍**: CuTe DSL과 TIRx로 구성된 74개 문제, 각 문제는 DSL만 다른 두 변형으로 구성.
**스킬 전이**: 첫 번째 DSL 실행 후 자연어로 요약된 '스킬'을, 다른 DSL 실행에 조건으로 전달.
**실험 설정**: 각 문제에 대해 'solo' 실행과 'skill-conditioned' 실행을 동일 예산 하에 비교.
**평가 지표**: 정확성(pass rate), 지오메트릭 평균 속도(GM), 2× 이상 성능 향상 비율(R(2)).
**페어드 리프트 계산**: Equation 2와 3을 사용해, 성공/실패에 따른 성능 변화를 수치화.

주요 결과

6개 모델, 양방향 전이 실험에서 페어드 리프트는 -19%에서 +29% 범위.
4개 모델은 양방향에서 성능 향상, 모든 모델과 방향에서 16%~45% 문제에서 후퇴 발생.
소스 실행이 타겟 실행보다 우수하면 71%에서 향상, 하위면 54%에서 후퇴.
6개 모델 중 5개 모델에서, 부정확한 결론이 포함된 스킬은 해로운 전이에 더 자주 나타남.

의의 및 한계

MetaKernelBench는 기존 커널 최적화 평가에서 빠져있던 '지식 재사용 가치'를 측정하는 새로운 차원을 제시한다. 특히, 자연어로 요약된 스킬이 다른 DSL 실행에 실제로 도움이 되는지를 정량적으로 평가함으로써, 모델의 추론 능력과 지식 전이 능력을 분리하여 평가할 수 있다. 그러나 실험은 동일 문제와 하드웨어 조건에서만 수행되며, 새로운 문제나 플랫폼으로의 일반화는 검증되지 않았다. 또한, 실패한 소스 실행이 전이에 유용할 수 있다는 점은 기존 접근과 차별화되지만, 이는 모델의 추론 오류를 포함할 수 있어 주의가 필요하다.

실용적 활용

MetaKernelBench는 GPU 커널 최적화 모델의 지식 전이 능력을 평가하는 데 활용할 수 있으며, 특히 DSL 간 전이가 필요한 산업적 상황(예: PyTorch와 TIRx 간 전이)에서 모델 선택과 개선 방향을 제시할 수 있다. 연구적으로는, 자연어 기반 지식 전이의 효과와 한계를 분석하는 데 유용한 도구로 활용될 수 있다.