英伟达:CPU 已落伍,用 GPU 训练大语言模型成本可降低 96%
source link: https://finance.sina.com.cn/tech/digi/2023-05-29/doc-imyvmrpa8445592.shtml
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
英伟达:CPU 已落伍,用 GPU 训练大语言模型成本可降低 96%
IT之家 5 月 29 日消息,根据英伟达在 2023 年台北电脑展会上的演讲,该公司宣称其 GPU 可以大幅降低训练大型语言模型(LLM)的成本和耗能。
英伟达首席执行官黄仁勋在演讲中,向 CPU 行业发起了挑战,他认为生成式人工智能和加速计算是未来计算的方向。他宣布传统的摩尔定律已经过时,未来的性能提升将主要来自生成式人工智能和基于加速计算的方法。
英伟达在展会上展示了一份 LLM 的总体拥有成本(Total Cost of Ownership,TCO)分析:首先,他们计算了训练一个 LLM 所需的 960 个 CPU 组成的服务器集群的完整成本(包括网络、机箱、互连等所有设备),发现这需要花费约 1000 万美元(IT之家备注:当前约 7070 万元人民币),并消耗 11 千兆瓦时的电力。
相比之下,如果保持成本不变,购买一个价值 1000 万美元的 GPU 集群,可以在同样的成本和更少的电力消耗(3.2 千兆瓦时)下训练 44 个 LLM。如果转而保持电力消耗不变,那么可以通过 GPU 集群实现 150 倍的加速,以 11 千兆瓦时的电力消耗训练 150 个 LLM,但这需要花费 3400 万美元,此外这个集群的占地面积比 CPU 集群小得多。最后,如果只想训练一个 LLM,那么只需要一个价值 40 万美元、消耗 0.13 千兆瓦时电力的 GPU 服务器就可以了。
英伟达所要表达的意思是,相比 CPU 服务器,客户可以以 4% 的成本和 1.2% 的电力消耗来训练一个 LLM,这是一个巨大的成本节省。
Recommend
-
33
预训练语言模型(PLM)是 NLP 领域的一大热门话题。从 BERT 到 GPT2 再到 XLNet,各种预训练模型层出不穷,不少同学感叹,「大佬慢点,跟不上了……」那么,这么多预训练模型要怎么学?它们之间有什么关联?为了理清这些问题,来自...
-
18
简介 2018年ELMo/GPT/BERT的相继提出,不断刷新了各大NLP任务排行榜,自此,NLP终于找到了一种方法,可以像计算机视觉那样进行迁移学习,被誉为NLP新时代的开端。 与计算机视觉领域预训练模型不同的是,其通过采用自...
-
20
前言 欢迎大家来到我们预训练语言模型的 专题系列分享 ,本篇推送是该专题的第二篇!预训练语言模型已经成为了NLP研究中一个非常火热的话题,优秀的模型包括BERT,GPT2等都在学术研究、工业领域、算法比赛中大...
-
25
BART和MASS都是2019年发布的,面向生成任务,基于Transformer神经翻译结构的序列到序列模型。分别由Facebook 和 微软亚洲研究院提出。...
-
29
本文为预训练语言模型专题的第14篇。 快速传送门 1-4:[...
-
6
深度学习中的自编码器。图源:https://debuggercafe.com/autoencoders-in-deep-learning/ 目前,很多研究者仍在使用堆叠...
-
0
what?还有985高校给大一上C语言课?是不是太落伍了? ...
-
4
近年来,随着稀疏模型对算力日益增长的需求, CPU集群必须不断扩大集群规模来满足训练的时效需求,这同时也带来了不断上升的资源成本以及实验的调试成本。 为了解决这一问题,阿里云机器学习PAI平台和阿里妈妈智能引擎训练引擎团队合作开发了稀疏模型高性能同...
-
4
英伟达推出H100 NVL双GPU的AI加速器,针对大语言模型训练设计
-
2
英伟达发布CALM AI模型:训练虚拟角色 可模拟50亿个人体动作 ...
About Joyk
Aggregate valuable and interesting links.
Joyk means Joy of geeK