34

华为全面启航计算战略:“鲲鹏+昇腾”双引擎、硬件开放软件开源

 4 years ago
source link: https://www.tuicool.com/articles/7veeUvz
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.

腾讯科技讯 9月19日消息 在HUAWEI CONNECT 2019期间,华为基于“鲲鹏+昇腾”双引擎正式全面启航计算战略,宣布开源服务器操作系统、GaussDB OLTP单机版数据库,开放鲲鹏主板,拥抱多样性计算时代。华为通过硬件开放、软件开源、使能合作伙伴,共同开拓万亿级的计算产业大蓝海。

“计算架构创新正进入黄金时代,充裕、高性能、多样性、绿色的算力将是智能社会发展的动力。我们的追求是围绕客户需求持续创新,为世界提供最强算力、让云无处不在、让智能无所不及。华为将按照‘量产一代、研发一代、规划一代’的节奏投资芯片,持续演进,后向兼容。作为业界唯一同时拥有计算架构中“CPU、NPU、存储控制、网络互连、智能管理”5大关键芯片的厂商,华为战略投入‘鲲鹏+昇腾’双引擎,开源操作系统、数据库和AI计算框架,开放主板,通过软硬协同释放算力潜能,让算力触手可及、实现普惠AI。”华为Cloud & AI产品与服务总裁侯金龙在“鲲鹏展翅,昇腾万里,力算未来”主旨演讲时表示。

ZnUjIbj.jpg!web

华为Cloud & AI产品与服务总裁侯金龙发表主旨演讲

战略投入“鲲鹏+昇腾”

华为从2004年开始投资研发第一颗嵌入式处理芯片,历经15年,目前投入超过2万名工程师,形成了以“鲲鹏+昇腾”为核心的基础芯片族。华为将以鲲鹏和昇腾作为根基,打造“一云两翼双引擎”的计算产业布局,持续构建开放生态:

一云是指华为云。华为云通过全栈创新提供安全可靠的混合云,成为生态伙伴的黑土地,为世界提供普惠算力。本次华为发布了基于“鲲鹏+昇腾”112款华为云云服务,涵盖了IaaS、PaaS、EI、数据库、安全、IoT等领域,帮助客户加速业务创新,实现普惠AI。

两翼分别指智能计算业务、智能数据与存储业务。在智能计算领域,华为面向端、边、云,提供“鲲鹏+昇腾+x86+GPU”的多样性算力。此次华为还发布了全球训练最快的AI训练集群Atlas 900、算力强劲的AI推理和训练卡Atlas 300和AI训练服务器Atlas 800。在智能数据与存储领域,融合了存储、大数据、数据库、AI,围绕数据的全生命周期,让数据的每比特成本最优、让数据的每比特价值最大。

硬件开放:发布高性能、高可靠、高能效的鲲鹏主板

华为对外提供主板、SSD、网卡、RAID卡、Atlas模组和板卡,优先支持合作伙伴发展服务器和PC等计算产品。

本次发布的华为鲲鹏主板采用xPU高速互联、多合一SoC、100GE高速I/O等关键技术。它不仅搭载了鲲鹏处理器,还内置了BMC芯片、BIOS软件。华为将开放主板接口规范和设备管理规范,提供整机参考设计指南,全面向伙伴开放华为的技术积累和实践经验。合作伙伴可以基于鲲鹏主板和整机参考设计指南,快速开发出自有品牌的服务器和台式机产品。

URnYraF.gif

华为智能计算业务部总裁马海旭发布鲲鹏主板

软件开源:开源服务器操作系统、GaussDB OLTP单机版数据库和MindSpore全场景AI计算框架

华为开源操作系统、数据库和AI计算框架,使能伙伴发展自己品牌的产品并为开发者提供覆盖端、边、云的全场景开发框架。

华为宣布将于2019年12月31日开源服务器操作系统,2020年6月开源GaussDB OLTP单机版数据库,2020年第1季度开源MindSpore全场景AI计算框架。其中,开源版本的服务器操作系统名称为openEuler,开源版本的数据库名称为openGauss。openGauss数据库可覆盖企业70%以上的数据库业务场景。华为将支持基于openEuler的合作伙伴发行商业版操作系统,支持各行业主流应用和软件开发商把软件和应用迁移到基于openEuler的操作系统上。华为与深之度、中标麒麟、天津麒麟、中移苏研、普华等伙伴计划联合推出openEuler开源社区。

使能合作伙伴:发布《鲲鹏计算产业发展白皮书》

在会上,绿色计算产业联盟、中国电子技术标准化研究院、安谋科技(中国)、IDC、华为以及产业伙伴共同发布了《鲲鹏计算产业发展白皮书》。作为鲲鹏计算产业发展的行动纲领和指南,该白皮书从产业定位、前景展望、应用分析和发展规划等方面系统性地阐述了鲲鹏计算产业的发展大计。

为更好地支持生态发展,未来五年,华为将投入15亿美金发展产业生态。华为将携手产业伙伴“以行业聚合应用、以区域整合产业、以联盟孵化标准、以社区发展开发者”构建繁荣生态圈。

附现场演讲全文:

女士们、先生们,朋友们,

大家上午好。欢迎来到华为全联接大会。

昨天华为轮值董事长胡厚崑全面阐述了我们的计算产业战略,今天我将继续分享华为在计算产业的思考和实践。我身后背景画面显示的是中国五岳之首泰山,山顶是初升的太阳和展翅的鲲鹏,我们希望计算产业就像这只鲲鹏一样展翅飞翔、昇腾万里。

计算加速了人类认知世界的进程

从微观世界、日常生活到宏观世界,计算加速了人类认知世界的进程。

l 微观世界,进行一次全基因组测序,2003年首次完成花了12年,现在只需要1天,背后的算力提升了1000倍以上。

l 日常生活,20年前只能预测1天的天气情况,现在可以准确预测7天,背后的算力提升了2万倍。

l 宏观世界,人眼最远可观测到220万光年之外的星系;而现在“中国天眼”能将人类的视野拓展到137亿光年之外的太空。

计算产业呈现4大发展趋势

当前,计算产业正在发生深刻的变化。我们认为,主要呈现4大趋势:

l 趋势1:从数据中心到计算中心

目前在先进的大规模数据中心中,服务器成本占比持续提升。以华为云数据中心为例,服务器成本占比已超过60%,计算正在成为数据中心的主体。同时,每年AI算力需求增长超过了10倍。预计到2025年,AI算力将会占据数据中心算力的80%以上。为充分发掘数据的价值,以前更多的是存、未来更重要的是算,数据中心正逐步演变为计算中心。

l 趋势2:端和边正驱动计算架构的创新

2018年,全球Arm芯片出货超过230亿片,主要用于端和边;2018年数据中心通用CPU出货不到3000万片,是数百倍的差距。据预测,2019年华为智能手机总的算力,将是今年全球数据中心新增算力的2倍。端和边算力的巨大优势将牵引生态的发展,进而驱动中心侧计算架构的创新。

同时,5G的高带宽、低时延,将驱动移动应用走向云化,比如游戏、VR,渲染在云上、交互在端侧。目前,智能手机上有超过500万应用,而现有数据中心以通用CPU为主,基于Arm的移动应用迁移上云,性能损失约40%,不仅影响用户体验、而且增加迁移成本。端和云算力同构,则可以天然解决这个矛盾。

l 趋势3:计算应能源与环境友好

昨天发布的Atlas 900 AI训练集群,算力达到了256 PFLOPS。此前我们测算过,要实现这样的算力,如果采用通用CPU需要6195个机柜,用GPU需要208个机柜,而NPU如昇腾只要128个机柜,这归功于昇腾架构对深度学习业务的优化。而最终,我们只用了16个机柜,除芯片优化之外,我们还增加了系统级优化,如板级液冷、柜级密闭绝热等,功耗从4万kW降到736kW。由此可见,算力对能源与环境的友好性将越来越重要。

l 趋势4:计算架构的持续创新。

过去5年,通用CPU的发展遇到了一系列技术瓶颈,其单核性能平均每年提升不足10%,摩尔定律放缓已经成为事实。现在,我们有机会通过一系列的技术创新,打破能效墙、打破散热墙、打破优化墙、打破内存墙、打破高速IO墙,进一步释放计算潜能。我们认为,计算产业已进入架构创新的黄金时代。

为满足世界高速增长的算力需求,计算产业需要不断向前发展。我们认为, 充裕、高性能、多样性、绿色、触手可及的算力将是智能社会发展的动力

为世界提供最强算力,让云无处不在,让智能无所不及

客户需求是华为发展的源动力,华为将在技术架构与工程实现上持续创新,我们在计算产业的追求是: 为世界提供最强算力,让云无处不在,让智能无所不及

一云两翼双引擎+开放的生态

为了实现这个追求,华为将打造“一云两翼、双引擎”的产业布局,构筑开放的产业生态。

l 双引擎 指围绕“鲲鹏”与“昇腾”打造的两个基础芯片族,构筑异构的计算架构。

l 两翼 指智能计算业务以及智能数据与存储业务。在智能计算领域,面向端、边、云,提供“鲲鹏+昇腾+x86+GPU”的多样性算力。在智能数据与存储领域,融合了存储、大数据、数据库、AI,围绕数据的全生命周期,让数据的每比特成本最优、让数据的每比特价值最大。

l 一云 指华为云,通过全栈创新,提供安全可靠的混合云,成为生态伙伴的黑土地,为世界提供普惠算力。

l 开放的生态 指通过硬件开放和软件开源,使能广大合作伙伴,形成一个开放的产业生态。

有芯才有力,战略投入双引擎

处理器是整个计算产业的基础,有“芯”才有力。

华为从2004年开始投资研发第一颗嵌入式处理芯片,历经15年,目前投入超过2万名工程师,形成了以“鲲鹏+昇腾”为核心的基础芯片族。

l 鲲鹏包括服务器和PC机芯片,鲲鹏920是业界首颗64核的数据中心处理器,性能比业界主流处理器高25%、内存带宽高60%;同时把CPU、桥片、网络和磁盘控制器“4合1”,是业界集成度最高的数据中心处理器。

l 昇腾包括训练和推理芯片,用于训练的昇腾910,半精度(FP16)算力达256 TFLOPS,是业界的2倍。用于推理的昇腾310,整型(INT8)算力16 TOPS,功耗仅8W。

l 存储控制器芯片,通过独特的磨损均衡算法,把SSD盘的寿命提高20%。智能网卡芯片,支持OVS、VxLAN、RoCE等多协议卸载,特别适合云化和低时延场景。智能管理芯片,实现智能的功耗和故障管理,是大型数据中心自动化管理的基础。

目前在计算架构中,华为是业界唯一同时拥有“CPU,NPU,存储控制,网络互连,智能管理”5大关键芯片的厂商。

我们将按照“ 量产一代、研发一代、规划一代 ”的节奏投资芯片。鲲鹏处理器从2007年走到现在已历时12年,鲲鹏920现在是第三代芯片。

鲲鹏+昇腾会持续演进,我们将按每年推出一代的节奏,持续提升竞争力,同时确保后向兼容,源源不断的推动整个计算产业向前发展。

策略:硬件开放、软件开源、使能合作伙伴

下面我要介绍华为对鲲鹏计算产业的定位,我们的策略是通过“硬件开放、软件开源、使能合作伙伴”来推动计算产业更好地发展。

l 华为聚焦计算架构创新,处理器的研发,以及华为云的服务。

l 华为利用自己的硬件能力,对外提供主板、SSD、网卡、RAID卡、Atlas模组和板卡,优先支持合作伙伴发展服务器和PC等计算产品。TaiShan服务器,聚焦做高端和内部配套,在条件成熟的时候,华为可以停止TaiShan服务器的销售业务。

l 华为开源操作系统、数据库和AI计算框架,使能伙伴发展自己品牌的产品,并为开发者提供覆盖端、边、云的全场景开发框架。

l 华为不做应用,但免费支持主流应用和软件的迁移适配。

TaiShan 200,定义通用服务器的最强算力

智能世界需要最强算力的产品。我们认为,最强算力的通用服务器需要具备至少64核、8个内存通道、PCIe 4.0、多合一SoC、xPU高速互联、100GE高速I/O等六个特征。

TaiShan系列服务器满足以上特性,是当前兼容ARM架构的最强算力的通用服务器。面向数据中心分布式演进需求以及边缘计算需求,华为提供了存储密集型、计算密集型、边缘计算等多款服务器产品。

开放鲲鹏主板,使能合作伙伴

华为在硬件方面有30多年的研发与制造经验,在主板研发上有长期积累,主板出货量累计超过10亿块。今天,我们将正式推出鲲鹏主板,并向合作伙伴全面开放。

华为鲲鹏主板采用多合一SoC、xPU高速互联、100GE高速I/O等关键技术。它不仅搭载了鲲鹏处理器,还内置了BMC芯片、BIOS软件。华为将开放主板接口规范和设备管理规范,提供整机参考设计指南,全面向伙伴开放华为的技术积累和实践经验。合作伙伴可以基于鲲鹏主板和整机参考设计指南,快速开发出自有品牌的服务器和台式机产品。

发布全球算最强的Atlas全系列产品

基于昇腾910和310 AI处理器,华为推出了全球最快的AI训练集群Atlas 900、AI训练服务器 Atlas 800、智能小站Atlas 500、AI推理与训练卡Atlas 300和AI加速模块Atlas 200,完成了Atlas全系列产品布局,覆盖云、边、端全场景,面向训练和推理提供强劲算力。基于统一的达芬奇架构和全场景AI计算框架,可实现云边端协同,加速全行业的智能化再造。

l Atlas 900:可扩展的AI集群架构,由数千颗昇腾910处理器组成,在ResNet-50测试中,以59.8秒的成绩位居全球第一,在同等精度下比第2名快15%。Atlas 900的强大算力,可广泛应用于科学研究、天文探索、石油勘探等领域。

l Atlas 800:4U空间集成了8颗昇腾910 AI处理器,可提供2 PFLOPS的超强算力,算力密度是业界同类产品的2.5倍。Atlas 800仅重75千克,重量不到业界同类产品的一半,内置32个硬件解码器,每秒可完成16384张1080P图片解码,是业界主流产品处理能力的25倍,而且可以与训练并行处理。它还支持风冷和液冷散热,可满足企业数据中心和集群高密部署两类场景,单机能效比为业界同类产品的1.8倍。在华为松山湖的数据中心中,我们已经部署了采用全液冷散热的Atlas 800,单机柜的散热能力高达5万瓦。

l Atlas 300:可提供256 TFLOPS的算力,是当前业界主流训练卡的2倍,每秒训练的图片数量从965张提升到1802张。它支持100G RoCE直出高速接口,可实现梯度参数和数据集并行传输,最高可降低70%的梯度同步时延,支撑集群训练时间缩短到秒级。

开源服务器操作系统

光有硬件产品还不够,我们认为,软硬协同才能发掘更大的潜能、释放更大的算力,尤其是操作系统和数据库。

华为从2010年开始研发服务器操作系统EulerOS,目前已在通信、存储、云等产品中广泛使用,部署超过10万套。它有2个主要创新点:

l 第一,三级智能调度技术。从内核、集群和Die三级实行智能调度,将不同的进程分配在最合适的核上,让应用获得最短时延、最大带宽,多进程的并发时延相比业界可缩短60%。

l 第二,智能自动优化技术。从驱动、内核、虚拟化、Lib库等多层次的应用感知与学习,可自动调优7000多个系统参数,让系统越用越快。例如,在Nginx测试中,Web服务性能提升了137%。

为使能合作伙伴快速开发出自己的操作系统,我宣布开源服务器操作系统。开源版本的名称为openEuler,我们将支持合作伙伴发行基于openEuler的商业版,支持各行业主流应用和软件迁移到基于openEuler的操作系统上。

我也很高兴的告诉大家,华为正在与深之度、中标麒麟、天津麒麟、中移苏研、普华等合作伙伴筹备开源社区,今年12月31日之前正式上线。

开源GaussDB OLTP单机版数据库

企业的关键应用都离不开数据库,数据库是鲲鹏计算产业的重要一环。在数据库领域,华为已进行10多年的研发,产品已广泛用于运营商、金融等核心场景。今年5月,华为正式发布了GaussDB数据库,它有2大特点:

l 第一,全球首款AI-Native数据库,具备AI-Native自调优能力,调优效果比DBA(数据库管理员)提升85%。

l 第二,全球首款基于鲲鹏的企业级数据库,能充分发挥鲲鹏的超并行计算能力,相比非鲲鹏系统,TPCH基准测试性能提升48%。

今天,我也很高兴地宣布,开源GaussDB OLTP单机版数据库。开源版本的名称为openGauss并将于2020年6月全面上线,可覆盖企业70%以上的数据库业务场景,我们支持合作伙伴发展自己品牌的数据库产品和应用。

发布112款基于鲲鹏和昇腾的云服务,让算力触手可及

前面我们介绍了AI算力、鲲鹏算力,软硬结合才能释放更大潜力,而云服务可以让算力触手可及。

今天,我宣布 69款 基于鲲鹏的云服务和 43款 基于昇腾的云服务正式上线。这些云服务,让大家能更好地体验鲲鹏和昇腾带来的强大算力。

l 华为云鲲鹏云服务 :基于鲲鹏处理器多核、高并发的能力,并充分发挥软硬协同的优势,在原生应用场景,综合性能提升80%;在大数据场景,任务处理耗时降低35%。同时,提供100%基于鲲鹏处理器的私有云和混合云解决方案,在服务能力和生态上与华为云保持统一,确保跨云体验的一致性。

l 华为云昇腾云服务 :基于昇腾,AI云服务器性能提升2倍以上,可广泛用于AI推理、AI训练、自动驾驶训练等场景。华为云通过全栈创新实现普惠AI,今天,我非常高兴的宣布,基于昇腾的图像搜索服务、内容审核服务,价格下调70%!这就是技术进步给大家带来的实实在在的好处。我希望,未来我们还将带给大家更多惊喜。同时,昇腾还带来更多价值,比如知识图谱服务利用多源知识融合技术,在石油领域帮助顶级专家效率提升70%以上;自动驾驶云服务利用超大规模集群能力可支持PB级数据的实时处理,端到端开发效率提升5倍以上。

“自己的降落伞自己先跳”

华为一直坚持“自己的降落伞自己先跳”,鲲鹏与昇腾的相关产品,已经在华为的研发、内部IT、产品与解决方案、华为云、消费者云广泛使用。

l 华为已部署超过10万台鲲鹏与昇腾设备,覆盖从研发、生产、办公、交付到销售的全业务场景。

l 产品与解决方案中的网管系统,其服务器已经全部切换到鲲鹏平台。

l 华为云60%以上的场景,今年会切换到鲲鹏与昇腾平台。

l 华为消费者云,现在已经全部切换到鲲鹏平台。

围绕鲲鹏和昇腾,持续构建开放、合作、共赢的生态

为了让鲲鹏和昇腾能够更好地服务各行各业,我们需要健康的生态,我们将从以下四个方面努力:

l 以行业聚合应用 :围绕各个行业,联合行业伙伴打造完整的产业生态链和具有竞争力的解决方案。

l 以区域整合产业 :一枝独秀不是春,百花齐放春满园。华为聚焦处理器和部件的开发,鲲鹏产业是业界共享的,欢迎各区域的伙伴根据自身特点打造本区域的鲲鹏产业。

l 以联盟孵化标准 :联合绿色计算产业联盟、边缘计算产业联盟等组织,制定开放的软硬件标准体系,促进产业的健康发展。

l 以社区发展开发者 :开发者是产业的灵魂,未来5年,我们将联合各社区和高校培养500万开发者,为计算产业注入活力。

此外,为了更好地支持生态发展,未来五年,华为计划投入15亿美金用于发展产业生态。

计算产业的发展,离不开产业伙伴们的共同努力。为了能更好的帮助鲲鹏计算产业的发展,今天华为还将与绿色计算产业联盟、中国电子技术标准化研究院、安谋科技(中国)、IDC以及产业伙伴共同发布《鲲鹏计算产业发展白皮书》。该白皮书从产业定位、前景展望、应用分析和发展规划等方面系统性地阐述了鲲鹏计算产业的发展大计。

我们预计,到2023年,整个计算产业生态体系在全球有近两万亿美元的市场空间,在中国则超过1.1万亿人民币。鲲鹏和昇腾就是树根,根深才能叶茂,我们将持续投入鲲鹏和昇腾的研发,与产业链上的伙伴们一起努力,让计算产业枝繁叶茂,共享数字世界的红利。谢谢大家!


About Joyk


Aggregate valuable and interesting links.
Joyk means Joy of geeK