英伟达宣布推出全新的H100 NVL计算加速卡，采用双GPU设计，专为大型语言模型训练（LLM）设计，性能更强。
英伟达宣布推出全新的H100 NVL计算加速卡，专为大型语言模型训练（LLM）设计，性能更强。其搭载了两个基于Hopper架构的H100芯片，顶部配备了三个NVLink连接器，在服务器里使用了两个相邻的PCIe全长插槽。
英伟达去年就推出了H100 GPU以及两款采用该GPU的显卡，拥有800亿个晶体管，采用了CoWoS 2.5D晶圆级封装，单芯片设计，使用TSMC 4N工艺制造。这次的双GPU版本除了更高的计算性能，更大的显存容量也是其优势之一，总计配备了提供了188GB的HBM3显存。
H100 NVL计算卡的FP64计算性能为134TFLOPS，TF32计算性能为1979 TFLOPS，FP8计算性能为7916 TFLOPS，INT8计算性能为7916 TFLOPS，是H100 SXM的两倍。其具有完整的6144位显存接口，显存速率可达5.1Gbps，意味着最大吞吐量为7.8TB/s，是H100 SM3的两倍多。由于大型语言模型训练需要更大的缓冲区和更高的带宽，所以更大的显存对于相关工作的处理显然更加强力。
据了解，H100 NVL计算加速卡的功耗预计在700W至800W之间，安装占用双PCIe 5.0全长服务器插槽。英伟达计划在今年下半年推出H100 NVL计算加速卡，预计相关产品将被搭载在英伟达认证的服务器当中出售。
网友评论