英特尔宣布推出新一代Gaudi 3加速器，相比于英伟达的H100训练性能提高了70%，推理能力提高了50%，效率提高了40%，同时功耗更低。
英特尔在Vision 2024活动上宣布，推出新一代Gaudi 3加速器，在前身Gaudi 2的性能和可扩展性基础上，为全球企业带来了生成式AI选择。英特尔表示，相比于英伟达的H100，Gaudi 3的训练性能提高了70%，推理能力提高了50%，效率提高了40%，同时功耗更低。
英特尔表示，相比于Gaudi 2，新一代的Gaudi 3提供了两倍的FP8和四倍的FP16性能；制造工艺由7nm升级到了5nm，由台积电（TSMC）负责制造；采用第五代张量处理核心，内核数量由24个增加到了64个，另外还有8个矩阵计算引擎；内存和缓存从96GB HBM2E / 48MB提高到了128GB HBM2E / 96MB，内存带宽从2.45TB/s提升至3.7TB/s；网络连接从24个100GbE变成了24个200GbE。
英特尔为Gaudi 3提供了TDP为600W的PCIe 5.0双槽扩展卡和TDP为900W的OAM模块两种选择。虽然PCIe扩展卡的TDP比起OAM模块低了300W，但是FP8峰值性能是一样的，均为1835 TeraFLOPS，只不过持续性能可能会低一些。PCIe版本可以四块为一组在每个系统中运行，而OAM版可以在每台服务器里以8块为一组来配置。
英特尔还为Gaudi 3加速器提供了针对性的生成式AI提供端到端全栈AI软件解决方案，包括嵌入式软件、软件套件、AI软件和AI应用。英特尔计划在今年第三季度向客户发货Gaudi 3加速器，包括联想、惠普、Dell和Supermicro等OEM厂商会使用这款新品构建系统。英特尔并没有透露Gaudi 3加速器的定价，传闻比起H100会低很多，具有更强的市场竞争力。
网友评论