4
英伟达推出H100 NVL：双GPU的AI加速器，针对大语言模型训练设计 - 超能网
source link: https://www.expreview.com/87473.html
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
英伟达推出H100 NVL双GPU的AI加速器，针对大语言模型训练设计
吕嘉俭发布于 2023-3-22 16:32
本文约 460 字，需 1 分钟阅读
英伟达宣布，针对大型语言模型训练（LLM）设计，推出全新的H100 NVL计算加速卡。其搭载了两个基于Hopper架构的H100芯片，顶部配备了三个NVLink连接器，在服务器里使用了两个相邻的PCIe全长插槽。
英伟达去年就推出了H100，拥有800亿个晶体管，相比上一代的A100，有着六倍的性能提升以及两倍的MMA改进。其采用了CoWoS 2.5D晶圆级封装，单芯片设计，以台积电（TSMC）为英伟达量身定制的4N工艺制造。这次双GPU版本除了更高的计算性能，更大的显存容量也是其优势之一，提供了188GB的HBM3显存。
H100 NVL计算加速卡的FP64计算性能为134 teraFLOPS，TF32计算性能为1979 teraFLOPS，FP8计算性能为7916 teraFLOPS，INT8计算性能为7916 teraFLOPS，是H100 SXM的两倍。其具有完整的6144位显存接口（每个HBM3堆栈为1024位），显存速率可达5.1Gbps，意味着最大吞吐量为7.8TB/s，是H100 SM3的两倍多。由于大型语言模型训练需要更大的缓冲区和更高的带宽，所以更大的显存肯定会对运算有所影响。
据了解，H100 NVL计算加速卡的功耗略高于H100 PCIe（350W）的两倍或以上，在700W至800W之间。英伟达计划在今年下半年推出H100 NVL计算加速卡，不过暂时没有进一步提供任何的细节。
Recommend
About Joyk
Aggregate valuable and interesting links.
Joyk means Joy of geeK