英伟达通过一项vLLM上游优化方案，大幅提升月之暗面旗下旗舰开源大模型Kimi K3的推理效率。测试基于GB300 NVL72硬件开展，优化后单用户推理速度达423 tok/s，同等硬件条件下性能较此前提升1.68倍。
PChome 10月19日消息，英伟达通过一项vLLM上游优化方案，大幅提升月之暗面旗下旗舰开源大模型Kimi K3的推理效率。测试基于GB300 NVL72硬件开展，优化后单用户推理速度达423 tok/s，同等硬件条件下性能较此前提升1.68倍。
该优化由英伟达CentML工程师Benjamin完成，核心采用大规模Megakernel融合方案，通过Cute DSL编写英伟达全新推出的解码专用内核。整套Megakernel代码量达1.2万行，相关技术路径代表了AI辅助生成高级计算内核的探索方向。
Kimi K3是月之暗面推出的2.8万亿参数MoE混合专家模型，也是全球首个开源的3万亿参数级别大模型。该模型搭载KDA混合线性注意力与注意力残差技术，原生具备视觉理解能力，支持100万token超长上下文，可一次性读取百万字文档与完整代码库，支持工具调用、结构化输出且推理强度可调节，适配长程代码开发、深度推理与复杂知识处理场景。目前官方已开放模型权重、技术报告及配套底层技术，开发者可本地部署或通过Kimi API接入，兼顾终端产品落地与前沿AI研究需求。
