谷歌Edge TPU：将机器学习引入边缘，撬动边缘计算/IOT大“地球”

近期，谷歌在Cloud Next会议上推出其最新产品，Edge TPU芯片和Cloud IOT Edge软件，并将于10月推出Edge TPU开发套件。作为Cloud TPU的补充，目前Edge TPU仅用于推理，专为在边缘运行TensorFlow Lite ML模型而设计。

Edge TPU芯片是谷歌边缘计算“两条腿”走路的重要支撑硬件，谷歌正在“两手抓” -一手抓硬件，一手抓软件 - 将数据分析和机器学习功能带到边缘网络，甚至是个人物联网（IoT）设备，以更好地处理越来越多的物联网设备产生的数据。谷歌在边缘计算迈出的第一步是将其Cloud IoT软件平台的功能扩展到边缘网络。第二步是推出Edge TPU微型芯片，芯片可集成到物联网设备上，并在传输前处理设备收集的数据。

据IOT Google Cloud副总裁Injong Rhee称，这些产品使谷歌成为唯一一家拥有集成软件和定制硬件堆栈的云服务提供商，利用该芯片，许多计算无需全部发送到数据中心，可以直接在设备上进行，降低了成本和能耗方面的开销，提高了效率。据悉，除自用外，谷歌Edge TPU也将提供给其他厂商使用，这将进一步把开发者锁定在谷歌生态系统，或对整个智能云计算市场带来巨大冲击，进一步促进谷歌抢占边缘计算市场的战略。

边缘计算中的数据处理和分析

在物联网场景下，每个智能设备都会产生大量的数据，这意味着将有大量数据将被发送回数据中心。

例如，一辆自动驾驶汽车每天可能会产生4TB的数据，主要来自传感器，但根据Vertiv全球边缘和集成解决方案副总裁Martin Olsen的说法，其中96%的数据是真正有用的，最后4%的内容是无需回传到中央数据中心的。

如果Olsen的4%理论可以在网络边缘而不是在中央数据中心进行处理，那么这样就可以减少带宽需求，并且比将其发送到中央服务器处理更快。

边缘计算可以在网络边缘对数据进行分类，将部分数据放在边缘处理，从而减少到中央存储库的回程流量，这样可以加快数据处理与传送的速度，减少延迟，实现实时的数据处理。

从上可以看到，提前对海量数据进行分析与推理，按照分析结果对数据进行处理对边缘计算至关重要。

机器学习算法和预测分析应用于网络数据

如何对边缘产生的网络数据进行预测和分析呢？机器学习（Machine Learning，简称ML）提供了一条思路，机器学习主要研究的是如何使计算机能够模拟人类的学习行为从而获得新的知识和技能，并且重新组织已学习到的知识和和技能，使之在应用中能够不断完善自身的缺陷与不足。简单来说，机器学习就是让计算机从大量的数据中学习到相关的规律和逻辑，然后利用学习来的规律来预测以后的未知事物。将机器学习算法和预测分析应用于在网络数据分析已不再罕见，Corvil Analytics、HPE、诺基亚和谷歌都有利用AI分析网络数据的经验。

今年7月，制作收集网络数据的Corvil Analytics设备的Corvil宣布了一款名为Intelligence Hub的新软件产品。Intelligence Hub使用机器学习来发现异常，并从Corvil捕获的网络数据中提取业务相关信息。Corvil从通过设备的每个数据包中收集元数据并为其添加时间戳。Corvil还可以从数据包代理中提取数据包，也可以作为完整的数据包捕获设备。Intelligence Hub从Corvil设备获取源，并将机器学习算法和预测分析应用于网络数据。机器学习算法建立正常行为的基线，然后可以监视异常情况并发出警报。

2017年2月，HPE收购Niara公司，旨在提升网络安全性。Niara是一个专注于用户和实体行为分析（UEBA）的公司。将Niara的解决方案与HPE现有的Aruba ClearPass产品组合相结合，利用大数据分析和机器学习帮助企业更好地保护企业免受下一代网络攻击。通过这次新的收购，HPE显然将自己定位为处于边缘安全前沿的公司。同年9月，HPE Aruba在澳门威尼斯人剧院正式发布了Aruba 360 Secure Fabric产品。这款新产品是一个对网络攻击进行360度检测及应对的安全框架，能够帮助组织在当今的网络威胁中减少潜在风险。其中Aruba IntroSpect高级版比标准版具备更多网络安全功能，如威胁追踪、搜索、深度取证。高级版包含了100多个兼具监督学习与无监督学习的机器学习模型，对数据包、流量、记录、警报、终端、移动流量、云流量、物联网流量进行分析、取证，提高了组织识别风险的效率。

2018年7月6日，诺基亚和中国移动建立联合AI * 5G实验室，以便在5G网络中使用人工智能和机器学习进行进一步研究。中国上海 - 诺基亚和中国移动签署了一份合约，以人工智能（AI）和机器学习的潜力，以优化未来的网络并实现新的Edge Cloud和5G服务。两家公司将在中国杭州共同建立一个实验室，开发使用诺基亚5G Future X架构验证技术用例的演示系统，而中国移动将在场景选择，需求确认，开放API标准化和解决方案定义方面领导研究。

Edge TPU ：边缘计算设备的“大脑”，将机器学习及预测分析代入边缘计算

据IDC估计，到2025年，互联网设备产生的数据总量将超过40万亿字节。如前文所述，届时，海量的数据及数据实时处理的特性，对数据处理的技术手段提出新的要求，而这正是高级数据分析和人工智能系统可以提供帮助的地方。在这些设备连接到网络的点上（也称为“边缘”），引入人工智能进行智能实时决策将会带来很多好处。

边缘网络中的人工智能意味着人工智能算法在硬件设备上进行局部处理。使用边缘人工智能的设备无需连接即可正常工作、独立处理数据并做出决策。边缘人工智能允许实时操作，包括数据创建、决策和在毫秒间起作用的操作。边缘人工智能将降低数据通信的成本，通过在本地处理数据，可以避免将大量数据存储到云中的问题。随着连接设备的爆炸性增长，以及对隐私/机密性、低延迟和带宽限制的需求，云中的AI模型越来越需要在边缘运行。

物联网谷歌云副总裁Injong Rhee称：“Edge TPU将以极低的成本和功率效率为您的嵌入式设备带来大脑，而不会影响性能，”Rhee说。“我相信这将改变游戏规则。”

Edge TPU 及其配套软件

Edge TPU是专门设计的加速器芯片，用于在边缘运行TensorFlow Lite机器学习模型。它能够在较小的物理和功耗范围内提供高性能，可在边缘部署高精度AI。Edge TPU可以在边缘部署高质量的机器学习推理。它增强了Google的Cloud TPU和Cloud IoT，以提供端到端（云到边缘，硬件+软件）基础设施，促进客户基于AI的解决方案的部署。

Edge TPU性能虽然远不如一般 TPU，不过胜在功耗及体积大幅缩小，适合物联网设备采用。Edge TPU可以自己运行计算，而不需要与多台强大计算机相连，因此应用程序可以更快、更可靠地工作。它们可以在传感器或网关设备中与标准芯片或微控制器共同处理AI工作。

Edge TPU有非常多的工业用例，例如预测性维护、异常检测、机器视觉、机器人、语音识别等等。在制造业、内部部署、医疗、零售、智能空间、交通等领域有广泛应用。

Cloud IoT Edge软件将Google Cloud强大的数据处理和机器学习能力扩展到网关、照相机和终端设备，使物联网应用更智能、更安全、更可靠。它允许在Edge TPU或基于GPU和CPU的加速器上执行在Google Cloud中训练的ML模型。Cloud IoT Edge可以运行在Android设备或基于Linux OS的设备上，其关键组件包括：

• 用于网关类设备（至少有一个CPU）的运行时，可以本地存储、处理并从边缘数据中获取智能信息，同时与Cloud IoT平台的其余部分进行无缝互操作。
• Edge IoT Core运行时，可以更安全地将边缘设备连接到云，支持软件和固件的更新，并管理与cloud IoT Core的数据交换。
• 基于TensorFlow Lite的Edge ML运行时，使用预先训练的模型执行本地ML推理，显著减少延迟并增加边缘设备的通用性。由于Edge ML运行时接口使用了TensorFlow Lite，因此它可以在网关类设备中的CPU、GPU或Edge TPU上执行ML推断，也可以在终端设备（如摄像头）中执行ML推理。

最后，开发套件包括一个模块系统（SOM），它结合了Edge TPU，NXP CPU，wi-fi和Microchip的安全元件，将在10月份提供给开发人员。

Google 云端物联网产品管理负责人Antony Passemard 指出，“Edge TPU 是一种超低功耗的 ASIC 芯片，比 1 美分铜板还小，搭配 Cloud IoT Edge 软件并针对 TensorFLow 机器学习模型优化，如此一来部分计算就不需等待远程服务器回应，直接在设备完成。Edge TPU 以极低成本让设备产生计算力，并将改变现有的系统架构，使现代云计算能真正实用化。”

对企业而言，将机器学习带到边缘，企业可以获得如下好处：

提高运营可靠性
由于可以本地存储、处理并从边缘的数据中获取智能信息，因此用户可以在内部构建强大的物联网解决方案，无需担心间歇性云连接。这对于需要实时处理的视频和音频应用，或设备无法可靠连接到外部网络或Internet的情况非常有用。

更快的实时预测
通过运行设备上的机器学习模型，带有Edge TPU的Cloud IoT Edge可为关键物联网应用提供比通用物联网网关更快的预测，同时确保数据隐私和机密性。此外，Cloud IoT Edge和Edge TPU已经过广泛测试，可以本地运行开源参考模型，如MobileNet和Inception V3。

提高设备和数据的安全性
Cloud IoT Edge可以在边缘设备上本地处理和分析图像、视频、手势、音响和运动，无需将原始数据发送到云，然后等待响应。这种本地处理可满足某些天特定行业的需求，并降低了数据隐私风险。Cloud IoT Edge使用JSON Web令牌对边缘设备进行身份验证，这样私钥就永远不会离开设备。

行业人士评价

对于谷歌的Cloud IoT Edge和Edge TPU，业内人士给予了积极的评价。

“我们的智能视觉检测解决方案使我们能够在LG各制造部门的工厂运营中提供更高的质量和效率。借助Google Cloud AI，Google Cloud IoT Edge和Edge TPU，结合我们传统的MES系统和多年的经验，我们相信智能工厂将变得越来越智能，”LG CNS首席技术官Shingyoon Hyun说。“通过智能视觉检测，我们渴望创造一个更好的工作场所，提高产品质量，每年节省数百万美元。LG CNS技术结合Google Cloud AI和物联网技术使这一切成为可能。”

“智能停车使我们的客户无论在街道还是非街道情况下都能够部署和管理无摩擦停车服务。我们非常高兴能够使用Cloud IoT Edge和Edge TPU为我们的客户构建ML停车体验， ”Smart Parking首席技术官John Heard说。”在Smart Parking，我们的使命是为每个解决方案用户重新创造停车体验。Cloud IoT Edge和Google Cloud IoT的引入使我们能够以新的方式在我们的SmartSpot网关产品中实现这一承诺。“

IT市场观察员CCS Insight的企业研究副总裁Nicholas McQuire表示，谷歌在物联网和边缘计算领域已经落后于其他云计算巨头，但由于边缘计算市场仍处于起步阶段，因此谷歌有足够的时间可以赶上。谷歌可以帮助企业在边缘进行机器学习，这对其他竞争者来说也是一大威胁。

谷歌边缘战略：给我一个支点，我来翘起地球

2016年6月，Google透露了自己研发了一款在云端使用的专用AI芯片，TPU（Tensor Processing Unit），第一代TPU主要用于推理。后来Google公布了第二代TPU，用媒体的话说“…stoleNvidia’s recent Volta GPU thunder…”。TPU2.0既能做训练也能做推理，从公布不多的细节来看，TPU2.0指标看起来很不错，而且具有非常好的可扩展性，但是它并不对外销售，只能以TPU Cloud的方式供大家使用。同年9月下旬，Google的软件大神Jeff Dean参加了HotChip会议，他介绍了TPU和TPU2的情况，把它们作为新的计算生态中重要的一环。今天5月，谷歌在I/O大会上发布了TPU 3.0，性能进一步提升。

谷歌曾多次表示不会对外销售TPU，而是将TPU与谷歌云Google Cloud Platform（GCP）和TensorFlow绑定，让使用GCP和TF的用户享受TPU带来的计算优势。现在，Edge TPU则不同了。据CNBC报道，消费电子制造商LG正在一个显示器玻璃检测系统中测试谷歌Edge TPU，以更快地发现制造缺陷。据LG CNS集团CTO Shingyoon Hyun 表示，检测精度从原来的约50％提高到了99.9％，这为下一步的广泛商用奠定了基础。

环顾周围，其他“选手”其实也早已竞相在物联网、AI 及云端计算提出新解决方案。微软将自己定位为边缘计算的领先公司。他们专门推出了Azure IoT Edge，这是一个动态软件平台，可为边缘设备提供云服务，使混合云和边缘物联网解决方案成为现实。微软还宣布与高通建立合作伙伴关系，合作构建一个运行Azure IoT Edge的可视化人工智能开发人员工具包。

AWS发布了多项与物联网相关的软件服务，甚至为边缘设备开发了自己的操作系统。AWS的边缘计算平台AWS Greengrass以机器学习推理支持的形式进行了改版，凭借Greengrass对机器学习的最新支持，客户将能够构建自己的DeepLens设备，并在边缘进行推理。

IBM正在创建一种新的点对点网络技术，使任何移动设备都可以直接与另一个移动设备进行通信而无需无线连接。他们与The Weather Company合作，将Mesh网络警报带到现场，即使没有互联网连接，也可以提供天气信息警报。

相较于AWS或微软Azure早已揭露物联网边缘计算布局，Google一直都只有Google Iot Core服务，作为物联网云端管理之用，而没有进一步切入边缘计算市场，直到今年Next大会第二天，Google才正式公开了自家抢攻物联网边缘计算市场的武器-Cloud IoT Edge产品线，包括了Edge IoT Core和Edge ML两个runtime组件。除了Edge IoT软件之外，Google也同时推出了边缘计算专用AI芯片Edge TPU，甚至还要在10月推出Edge TPU开发版，不只从软件，也要从硬件端来抢攻物联网边缘计算市场。以TPU为契机，谷歌正在打造其物联网和边缘计算生态圈。谷歌正在与Arm，Harting，日立数据系统（Hitachi Vantara），新汉（Nexcom），诺基亚和恩智浦等制造商合作，希望普及至开发者社群，建立独有的生态。Google 的野心不仅是在单一硬件持续突破，更倾向于提供完整终端服务体验。可以想见，未来谷歌Edge TPU在边缘计算、物联网以及智能终端设备中的巨大使用空间，以及对物联网芯片市场的冲击。

总结

边缘计算对网络边缘对数据进行分类，将部分数据放在边缘处理，减少延迟，实现实时的数据处理。而机器学习可以用来优化网络性能，识别系统，设备和用户的异常行为，识别安全威胁。谷歌将机器学习和芯片Edge TPU用于边缘计算，对未来的边缘市场或许是一个推动。