METR：Research（网页）·· 13 小时前AI 评分58
METR 测评前沿模型写 GPU kernel：KernelAgent 在改进版 KernelBench 上平均加速 1.8x
Measuring Automated Kernel Engineering February 14, 2025 We measured the performance of frontier models at writing GPU kernels. With a small amount of scaffolding, we found that the best model can provide an average speedup on KernelBench of 1.8x. Read more
AI 导读
METR 发布对前沿模型编写 GPU kernel 能力的测量，用自建 KernelAgent 脚手架在改进版 KernelBench 上测试。相同模型下 KernelAgent 达到 1.81x 平均加速，远高于原 KernelBench 的 1.05x；o3-mini-high 单模型达 1.81x，全模型 best-of-k 达 2.01x。
来源：METR：Research（网页） · metr.org