ARTICLE / 虎嗅

观察|AI写的代码,人类来不及审:英伟达1.2万行代码优化Kimi K3,另开新战场?

2026年10月21日 21:04 · 来自 虎嗅

阅读原文 → 收藏

本文来自微信公众号: 斯凯碎碎侃 ,作者:斯凯,原文标题:《观察|AI写的代码,人类来不及审:英伟达1.2万行代码优化Kimi K3,另开新战场?》 2026年10月16日,vLLM官方博客发布了一篇技术复盘,标题很技术流:《Hyper Optimizing Kimi K3 in vLLM:Moving Fast and Responsibly》。 署名作者是英伟达CentML的工程师Benjamin Chislett。他做了一件事:用一段1.2万行CuTe DSL编写的Megakernel,将月之暗面2.8万亿参数的Kimi K3推理速度大幅提升。 据SemiAnalysis测算,在相同的GB300 NVL72硬件上,K3达到423 tok/s/user的推理速度,性能提升1.68倍。vLLM博客原文报告的数据则是:batch 1下超过840 tokens/s,多个测试配置下解码吞吐提升1.5—2倍。 没有换一张卡。没有上更先进的制程。没有等下一代芯片。但真正让这件事值得深挖的,不是那1.68倍。是博客里的一句话,被绝大多数中文报道忽略了: <p data-check-id="288