阿里云官方宣布，阿里云真武M890超节点实例已Day0适配Kimi K3，这是国内首个跑通近3万亿参数模型的超节点。双方将进一步展开国产算力合作，千问AI平台和阿里云百炼也将提供Kimi K3的模型API。
PChome 7月28日消息，阿里云官方宣布，阿里云真武M890超节点实例已Day0适配Kimi K3，这是国内首个跑通近3万亿参数模型的超节点。双方将进一步展开国产算力合作，千问AI平台和阿里云百炼也将提供Kimi K3的模型API。
官方介绍，Kimi K3是目前业界参数规模最大的模型之一，跑通这一规模的模型需要将参数分散到几十张甚至上百张高速互联的GPU卡，让万亿参数“跑得又稳又快”。然而，普通AI集群因通信带宽的局限，无法满足高吞吐、低延迟、高并发的需求。阿里云真武超节点实例通过ICN Switch高速互联芯片，让64张平头哥真武M890实现800GB/s的全互联，其显存规模达到9TB，可突破万亿参数模型运行的算力、显存和网络带宽的瓶颈，单实例即可支撑大规模万亿级参数MoE模型的专家并行需求。
为提升Kimi K3的运行效率，阿里云、平头哥与Kimi团队从软件栈、算子等层面进行了深度联合适配。例如，真武M890对Kimi K3模型架构的核心算子进行优化，显著提升推理的算力和带宽利用率，可稳定支持最1M长上下文，从容应对长文档理解、复杂推理等场景。测试显示，适配后模型的首Token时延降低约35%，单卡解码吞吐提升1.8倍。
目前，国内外主流模型已进入超2万亿参数规模的时代，阿里云真武超节点不仅跑通Kimi K3，还实现了模型的高效运行，意味着国产算力已具备支撑超大参数模型大规模应用的能力。
