25

计算激变:当华为跨过一切走向星空

 4 years ago
source link: https://www.pintu360.com/a65444.html?s=10&o=0
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.

计算激变:当华为跨过一切走向星空

摘要:这个世界的奇妙之处就在于,我们似乎一直在闯关升级,难以解决的矛盾一旦集中起来浮出水面,便会得以解决。

“恒有二者,余畏敬焉。位我上者,灿烂星空;道德律令,在我心中。”

这句写在《纯粹理性批判》一书和康德墓碑上的话,可以被看作是康德哲学思想的精炼。其中康德将外部世界概括为Starry heaven——充满星星的苍穹。在很多时候,人们对于这个世界的探索精神,都被抽象成了对星辰大海的追逐。星星为什么会闪耀?星河的黑暗之处,又隐藏着什么秘密?这些疑问,是我们与生俱来的好奇心的最好表现。

在天性的指引之下人类不断踏平一切阻碍,去践行探索。例如用丰富的交通工具踏平物理距离,让人类可以真正地踏步星云之中,或是用数字化记录踏平时间的阻隔,把一切转瞬即逝记录成永生的数据。

在跨越空间与时间障碍之后,下一个拦在我们与星空之间的障碍,便是计算了。

让星光穿越大洋洲

故事要从一个天文望远镜说起。

从17世纪开始,天文望远镜就成了人们观测宇宙星空的绝佳工具。随着技术不断发展,直到今天,这一工具让我们的目光更加深远,透彻地了解到宇宙与星体。到了如今的射电天文观测时代,我们已经能通过望远镜接受宇宙中的无线电波,捕捉光年之外的信号。但从自然科学的角度来说,很多时候工具越发达、我们发现的信息越多,也就愈发认识到自己的渺小。

想象一下,当考古学家们发现庞大的墓群时,除了惊喜与惊叹,他们所做的更多是潜心研究,不断推翻自己的认知体系。同样天文望远镜所捕捉到的每一点信息,也都值得被分析研究。尤其和静止于时空中的文物不同,无线电波处于动态之中,有时需要对大面积星空进行实时观测,才能捕捉到天文现象。而这其中所需要的算力支持,几乎是难以想象的。

基础研究并不会因为配套设施的不足而停止,近年以来,我们进入了“SKA时代”。

所谓SKA既平方公里射电阵(Square Kilometre Array),由众多碟形天线构成的巨型射电望远镜阵列。

7eebebad-be00-4556-b608-564f4312a5d6.jpg

凭借超高灵敏度、超大视场、超快巡天速度和超高分辨率来获取、观测到那些以往未知的信息,甚至有望在宇宙起源、生命起源、宇宙磁场起源、引力本质、地外文明等“终极问题”中获得突破。

而SKA望远镜所产生的数据也是巨大的,资料显示SKA建成后每年存档大约600PB的数据,远超于今天的互联网。

这样庞大体量的数据,先不提计算,光是传输就是一个巨大的问题。曾经有一种说法称,把100PB的数据从北京传输到上海,最快的速度是顺丰快递。这并非是笑谈。

而目前SKA望远镜的两个中心区域一个在澳大利亚一个在南非,我们要如何将这些数据跨越大洋洲与其他研究机构共享,是飞机?轮船?或是传说中的6G网络?

数据熔炉中,宇宙与星空之秘

我们已经有了能力将宇宙中的讯号记录成数据,但如果无法从这些数据中得出结论,它们便会尘封于数据库之中,像一个个未解的谜团。

如何解开这些数据谜团,挖掘其中的价值信息?上海天文台给出了答案——华为云AI。

如果参加过今年华为HC大会的人一定记得,在现场展示了华为云与上海天文台合作利用华为云AI昇腾集群服务对南半球星空的射电星系进行搜索和识别, SKA先导项目所产生的海量数据被安置在了云端,华为云AI昇腾集群服务如同一座钢铁熔炉,输入数据燃料,炼出关于宇宙与星空的秘密。

a80e3af8-fba7-4141-be77-2ed3a2748a84.jpg

在最近的SKA上海大会暨第六届SKA工程大会上,我们得以瞥见有关这一答案的更多消息,也能看到华为云AI究竟是如何带领人类破壁,解密星空。

作为当前全球最大的科研项目,SKA项目所面临的问题其实也集科研领域于一处。

首要的,是计算能力本身。正如前文所说,科研数据往往体量巨大,甚至超出现有计算能力。对这些数据进行挖掘、将其训练成AI模型以提升未来的研究效率更是困难;其次还有科研协作。庞大数据量不仅仅受计算能力影响,同时也在影响协作效率。很多天文类的科研项目都和SKA一样,需要把望远镜或望远镜阵列建设在世界各地,对于这些科研项目来说,想要实现分布式的协作研究,往往要耗费大量成本在本地建立数据中心。最后还有软件效率,面对深度学习这一新兴工具,科研项目所建立的AI模型是否兼备高性能和高实用性,更重要的是是否具备可移植性。然而这一切都是伴随海量数据而来的问题。

从计算宇宙到计算世界:

华为给出的三层方法论

在和上海天文台的合作上,华为云给出了很好的解答样本。我们不妨从双方的合作中提炼出若干方法论,看看这些方法论是否能在人类探索世界的整个过程中奏效。

第一层方法论,是巨大计算引擎本身带来的效率升级。

基于Atlas900,华为云AI昇腾集群服务在合作过程中起到重要作用。它是当前全球最快的AI训练集群,由上千颗有“最强AI处理器”之称的昇腾910 AI处理器搭建而成。强大计算力汇聚之下,让它获得了世界顶级算力。当“地表最强”集群服务碰撞上同样“地表最强”的科研项目,带来的结果是非常震撼的。

就拿宇宙中星体定位、分类这一项工作来说,在处理SKA先导项目星空观测数据时,使用传统方法天文学家需要169天才能完成一次对南半球星空中大约20多万颗星体的定位和识别。而在上海天文台与华为的合作中,通过深度学习方法训练AI模型,并利用华为云AI昇腾集群服务,仅需10秒就能完成任务。

从169天到10秒,其效率提升的意义无异于穿梭于时空之间的时间机器。

第二层方法论,来自全新的部署未来。

华为云之于SKA项目的意义,一方面来自于昇腾910带来的强大算力,另一方面则来自于“云”。我们都知道云化对于产业带来的意义——将数据跨越空间进行写作部署,根据自身需求变化弹性化的购置资源,随时在云端共享软件能力的更新……但一旦涉及科研这种数据量巨大的领域,似乎很难依赖于云端。实际上昇腾集群采用的100G以太高速集群互联网络,可以让星海高速行走于云间,便于诸如澳洲-上海之间的科研协作。

这种弹性存储的部署模式,相比建立数据库成本更加低廉、效率也更高,同时也降低了数据的访问门槛。或许未来其他科研机构也可以登录云端平台访问SKA数据,从星海之中找到自己想要的答案。

第三层方法论,来自AI这一出发点。

海量天文数据,需要的是暴力的计算,同样也需要“聪明的计算”。在华为云的全栈AI能力之下,上海天文台也得以将更多AI能力带入科研之中。例如现在,华为云和上海天文台正在尝试使用AI对射电望远镜接收的脉冲星信号进行识别。倚仗华为云AI能力和数以万计脉冲星信号数据,昇腾集群在短时间内完成训练并建立AI脉冲星识别模型,判断图像是否为脉冲星信号,精准率和召回率均高达98%以上。

暴力计算解放人力,让科学家们将时间投入到更多有价值的研究领域中。而智能则解放算力,算的更聪明,就能算的更高效。

探索之途,停在下个时代门前

这一系列方法论,显然不只适用于天文一个领域。

康德将一切外物定义为“灿烂星空”,是因为人类探索一切,就像探索星空。实际上SKA项目上出现的巨大计算需求,仅仅是人类探索世界过程中的一个阶段缩影。

之所以会出现算力需求的裂谷,是因为我们走向了数字化的顶峰。传感器与互联网的遍布,加上基础科学的进步,让我们有了将宇宙中的一切转换成数据的能力。大到用射电望远镜捕捉光年之外的脉冲信号,小到一条公路的智慧化,甚至一颗药物的研发,几乎都可以利用数据化模拟整个过程。自动驾驶、气象研究、地质研究、工业数字孪生……这些领域正在各自形成数据洪流,滚滚向前。

更何况我们还有此前累积下的海量数据——2018年Forrest报告称,大多数公司认为自己只分析了12%的大数据。也就是说,这个世界上有88%的大数据都被尘封了起来,在闷热的机房中无声叹息。

这一切或许不会都像天文领域一样,能够通过暴力计算获得如此巨大的改变。但当前的计算供应,与未来趋势一定是不匹配的。

算力硬件不仅昂贵,从生产者到应用者之间还包含着多个复杂的产业环节。甚至即使其中加工者无数,最后的解决方案也不一定能很好的适应场景需求。更何况还有复杂的配套搭建过程——动辄占地上百平米的数据中心和复杂的日常运维,无一不需要周期漫长的资金和人力投入。

万事万物的数字化明明到来的那么自然,为什么在下一个时代的门口会出现如此难以跨越的门槛?

激变发生、打破桎梏:

触碰星空的华为云

这个世界的奇妙之处就在于,我们似乎一直在闯关升级,难以解决的矛盾一旦集中起来浮出水面,便会得以解决。

华为云AI昇腾集群服务的出现就是如此。

如果华为云AI昇腾集群服务提早几年出现,我们可能会认为这只“AI算力怪兽”有炫技之嫌。而在2019年,我们真正直观的感受到了SKA项目带来的海量天文数据,看到近在咫尺的自动驾驶,看到5G网络即将带来的万物互联,才真正感知到,人类的计算力,还需要更强一点。

同样华为也是在这一年发布了他们的计算战略——一边是利用基础研究创新架构,推出适应算力增长的达芬奇架构,另一边推出了昇腾、鲲鹏、麒麟、鸿鹄四款分别应对AI计算、通用计算、移动终端和智慧屏需求的芯片。加上对于华为云AI昇腾集群服务在AI训练计算的布局,华为已经对未来计算市场形成了一种笼罩式的布局,预判产业的下一步发展,然后做好准备。

就拿SKA项目为例,华为云给出的三条方法论实际上已经颠覆了“算力”这种资源的获取方式,将算力和存储从数据中心、超算中心转移到云上,无异于把苹果树苗变成货架上的苹果。获取地表最强的算力,不再需要漫长的植树耕耘,只需随手拿取。这种激变,如同刀耕火种与食品工业化的对照。

激变还发生在更多地方。

我们看到达芬奇架构在改变每一款芯片中矩阵计算的效率;看到不同领域的芯片正在铆住产业关节,深深植入计算;看到工程能力、网络技术等等其他储备也与计算集群或芯片结合,去解决散热、集成等等问题。

星空当前,华为云正在集中一切力量去打破计算的桎梏。

或许在五年或十年之后,以华为云为代表的桎梏打破者会为我们的生活带来天翻地覆的变化,我们可能在AI的帮助下从宇宙中捕捉到另一个种族的声音,可能能够预测很多自然灾害,或是精准预知明年的天气变化……但当我们把历史的坐标拉长,再回头看看,可能早已对这一切习以为常。今天的一切幻想,总有一天会变成不起眼的日常细节。于是我们才不停探索,永远向往未知。

但人们总会记得,在一次悄然无息或轰轰烈烈的计算升级后,我们距离头顶的星空,又近了一点。

在这场旅途之中,我们每一个人都是探索者。而华为也提供了我们与其他探索者相遇的机会——2020年2月11日到12日,华为将在深圳面向开发者召开华为开发者大会2020(Cloud)。参与者可以与开发高手现场交流,并体验丰富的黑科技。宇宙旅途,时刻发生。


About Joyk


Aggregate valuable and interesting links.
Joyk means Joy of geeK