英伟达优化 Kimi K3 模型推理速度，提升 1.68 倍

调研机构 SemiAnalysis 于 10 月 18 日透露，英伟达通过一项上游 vLLM 的改进，使参数规模达 2.8 万亿的 Kimi K3 模型达到了每用户每秒 423 个 Token（tok/s/user）的推理速率，与相同硬件配置（GB300 NVL72）相比，性能提高了 1.68 倍。

据说明，这一优化由英伟达 CentML 团队的工程师 Benjamin 完成。其实现方式是通过大规模 Megakernel 融合，并采用 Cute DSL 编写英伟达新推出的解码专用内核。该 Megakernel 含有 1.2 万行代码，这体现了 AI 辅助生成高级计算内核的未来趋势。英伟达优化 Kimi K3 模型推理速度，提升 1.68 倍。

IT之家注意到，除了此次优化外，英伟达还在为 vLLM 开发针对 DeepSeek V4.1 等其他模型的改进。