4

英伟达发布AI加速卡 大语言模型性能比H100提升30倍

 1 month ago
source link: https://www.chinaz.com/2024/0319/1604287.shtml
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.

英伟达发布AI加速卡 大语言模型性能比H100提升30倍

2024-03-19 08:10 · 稿源:站长之家

站长之家(ChinaZ.com)3月19日 消息:英伟达在 GTC 开发者大会上发布了最强 AI 加速卡 Blackwell GB200,计划今年晚些时候发货。

GB200采用新一代 AI 图形处理器架构 Blackwell,其 AI 性能可达20petaflops,比之前的 H100提升了5倍。每个 Blackwell Die 的浮点运算能力比 Hopper Die 高出25%,每个封装中有两个 Blackwell 芯片,总性能提高了2.5倍。

GB200包含两个 B200Blackwell GPU 和一个基于 Arm 的 Grace CPU,推理大语言模型性能比 H100提升30倍,成本和能耗降低至25分之一。

微信截图_20240319081212.png

NVIDIA 表示,2000个 Blackwell GPU 就能完成之前需要8000个 Hopper GPU 和15兆瓦电力的训练任务。英伟达还提供了 GB200NVL72服务器,提供了36个 CPU 和72个 Blackwell GPU,并实现了720petaflops 的 AI 训练性能或1.4exaflops 的推理性能。

英伟达的系统还可扩展至数万 GB200超级芯片,具有11.5exaflops 的 FP4计算能力。

AiBase副业搞钱交流群

欢迎大家加入AiBase交流群, 扫码进入,畅谈AI赚钱心得,共享最新行业动态,发现潜在合作伙伴,迎接未来的赚钱机遇!。

AiBase副业搞钱交流群

举报

AI正版系统源码推荐:小狐狸GPT-AI付费创作系统+开源可二开+私有知识库+聚合15家主流AI接口


About Joyk


Aggregate valuable and interesting links.
Joyk means Joy of geeK