56

走马观花: ACM SIGCOMM 2019的黑科技(含资料下载链接)

 4 years ago
source link: https://www.sdnlab.com/23480.html
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.

在互联网诞生50周年,中国全功能接入国际互联网25周年之际,由国际计算机学会ACM(Association for Computing Machinery)数据通信专业组SIGCOMM(Special Interest Group on Data Communication)主办、清华大学承办的全球网络通信领域顶级会议ACM SIGCOMM 2019于8月20日-25日在北京隆重举行。此次会议恰逢SIGCOMM组织成立50周年,这也是ACM SIGCOMM会议举办30多年来首次在中国大陆举办。

sigcomm000-.jpg

纵观这场为期六天的盛大会议,SDNLAB整理了会议中较常出现的一些高频词汇,或许能够一窥今后网络的发展趋势。

  • 可编程网络
  • 物联网
  • 边缘计算
  • Kubernetes
  • 机器学习
  • 无服务器计算

可编程网络
随着基于x86的中间件和虚拟交换机数据包处理的兴起,这些趋势指向了整个网络可编程的未来。目前的编程语言只是针对单个网络设备,例如Tofino可编程交换芯片和Netronome SmartNIC。但是目前还没有统一的编程模型来表示和实现整个网络层次上的通用数据平面功能。之前的可编程网络技术专注于特定功能或任务,未来可能会变得更加通用。

物联网
物联网是一种基础广泛的技术,是由传感器、机器和相机等智能设备组成的网络,它们可以自动连接到互联网并共享信息,驱动巨大的网络流量并生成zettabytes数据用于监控和分析网络。随着物联网变得越来越重要,Gartner预测,物联网设备将在2019年达到142亿,到2021年将增长到250亿,IDC 估计到2025年,将有416亿台连接的物联网设备产生79.4zettabytes的数据,另外有人预计到2020年IOT相关解决方案将产生3440亿美元的收入,同时将减少1770亿美元的成本支出。

边缘计算
边缘是指人们使用的端点设备或嵌入在我们周围的端点设备。边缘计算描述了这样一种计算拓扑结构:信息处理和内容收集及传递更靠近这些端点。它试图保持流量和处理本地化,目标是减少流量、缩短延迟。

在短期内,推动边缘的是物联网和这种需求:使处理接近端点,而不是在集中式云服务器上处理。然而目的不是打造一种新的架构,云计算和边缘计算将作为互补模式而共同发展,云服务作为一种集中式服务加以管理,不仅在集中式服务器上执行,还在本地的分布式服务器和边缘设备本身上面执行。

在今后五年,专用AI芯片以及更强大的处理能力、存储和其他先进功能将被添加到种类更广泛的边缘设备上。这个嵌入式物联网世界极具多样性,加上工业系统等资产具有很长的生命周期,这将带来管理方面的重大挑战。从长远来看,随着5G日渐成熟,不断扩展的边缘计算环境会有更可靠的通信技术连回到集中式服务。 5G提供更低的延迟、更高的带宽,并且每平方公里的节点(边缘端点)数量急剧增加,最后一点对边缘来说非常重要。

Kubernetes
Kubernetes于2014年开源并被企业团队用于生产环境中,现在已被普遍接受和认可。目前,Kubernetes正在进入第三个发展阶段,这也意味着,用户正在寻求各种方法来实现Kubernetes在生产环境中的自动化运维操作。自2018年开始运维已经慢慢抛弃了单机,Kubernetes上升成集群操作系统的概念。对线上服务的部署、监控、运维、增减机器等操作全部可以通过Kubernetes进行管理和操作。这是一个必然的趋势,在过去的一年的时间中历史已经为我们验证了这一切,比如360、京东、知乎等大厂全部都在使用容器技术。

机器学习
机器学习是实现人工智能的一种途径,它专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能,是使计算机具有智能的根本途径。

机器学习的核心是“用算法解析数据,从中学习,然后对某些事物做出决定或预测”,这意味着,你无需明确地编程计算机来执行任务,而是教计算机如何开发算法来完成任务。有些公司已经用机器学习完成了一些用于专门领域的工作。

无服务器计算
无服务器技术允许开发人员创建事件驱动的应用程序,而无需担心底层基础设施。2018年见证了功能即服务(FaaS)和无服务器计算的出现。随着基于容器的应用程序(云原生应用程序)的不断增加,无服务器将会大规模采用,也适用于企业应用程序。由于Kubernetes围绕云原生架构的部署得到进一步完善,人们期望将基于Kubernetes的功能即服务(FaaS)框架与服务网格集成。换句话说,如果说Kubernetes是新的Linux,那么无服务器就是新的Java虚拟机。虽然无服务器应用程序仍主要用于短期无状态应用程序,但人们看到无状态用户的无服务器应用程序越来越多。对无服务器和功能即服务(FaaS)来说,工具缺乏成熟度一直是个问题,未来行业领先的功能即服务(FaaS)项目将开始采用工具装配线视图,大大改进了开发人员体验、单元测试、实时重载和CI/CD平滑管道等功能。

下面我们再来看一下本次大会的部分优秀论文:

HyperGen:使用可编程交换ASIC的高性能柔性数据包生成器

作者:Zhaowei Xi, Yu Zhou, Dai Zhang, Jinqiu Wang, Sun Chen, Yangyang Wang, Xinrui Li,
HaoMing Wang, Jianping Wu

数据包生成器在网络研究和网络运行中起着至关重要的作用。对于网络研究人员来说,数据包生成器是测试原型研究性能的重要工具。网络运营商还可以使用数据包生成器来生成测试流量,以进行延迟测量和故障排除。同时,当今网络的发展从两个方面对数据包生成器提出了需求。 一个是高性能流量生成的能力,以满足日益增长的网络带宽(从10GbE到100GbE),另一个是灵活的数据包定制能力,具有给定的属性,以满足不断出现的新协议和功能。

Architecture overview of HyperGen

Sharpening Kubernetes for the Edge

作者:David Haja, Mark Szalay, Gergely Pongracz, Laszlo Toka

在过去的5年中,Kubernetes已经成为最受欢迎的集群管理器。它主要用于编排运行Web应用程序的数据中心部署。其强大的功能,例如自我修复和扩展,吸引了一个庞大的社区,这反过来又促进了这个开源项目的迅速崛起。本文主要探索如何塑造Kubernetes以适应边缘基础设施。由于大多数延迟敏感应用程序都要部署在边缘,因此需要一个拓扑感知的Kubernetes,以扩展其在网络延迟方面的功能。此外,由于边缘基础设施极易出现故障,并且构建和维护成本高昂,因此自我修复功能必须比基线Kubernetes更受重视。本文设计了一个定制的Kubernetes调度器,它可以根据应用程序的延迟约束和边缘可靠性来做出决策,并展示了Kubernetes扩展的新特性,描述了相应的开源解决方案。

The setup of the demonstrated experiment

基于P4和DPDK的AQM评估测试平台

作者:Sándor Laki, Péter Vörös, Ferenc Fejes

主动队列管理(AQM)解决了由于使用不必要的大型非托管缓冲区而产生的问题,因此它旨在提高网络和应用程序性能。 AQM方法引入了不同的丢弃策略,以根据队列状态和参数主动丢弃数据包。随着P4的出现,在通用框架中对AQM算法进行描述、验证和评估成为可能,因为这些方法所应用的不同丢弃策略可以在P4程序的入口/出口控制块中实现。本文提出了一个AQM评估框架,其中P4语言描述的AQM算法可以在具有真实流量混合的测试平台中使用基于DPDK的P4编译器(称为T4P4S)的修改版本执行和评估。

Demo architecture

分布式机器学习的边缘计算市场

作者:Susham Yerabolu,Samuel Gomena,Ehsan Aryafar,Carlee Joe-Wong

机器学习的研究人员对计算资源的需求越来越大,以训练他们的机器学习模型。为了在合理的时间内训练这些模型,训练通常需要分布在多台机器上。然而,购买这样的机器价格并不菲。DeepMarket试图通过创建一个通过分布式tensorflow框架集成多个计算资源的市场来降低这些成本。DeepMarket可以让用户不用再从第三方云提供商那里租用昂贵的资源,而是允许用户在需要时将计算资源借给彼此。然而,这样的市场需要一种信用机制,确保用户获得的资源与他们借给他人的资源成比例。此外,DeepMarket必须满足用户使用资源的需求,以及对该资源何时可以再借给他人做出相关规定。这个演示将向观众介绍PLUTO: DeepMarket的图形用户界面。观众将能够看到PLUTO如何与DeepMarket服务器协作,跟踪每个用户的工作性能,将工作与其他用户提供的资源进行匹配,并跟踪控制资源交换。

Sluice:网络范围的数据平面编程

作者:Vikas Natesh,Pravein Govindan Kannan,Anirudh Sivaraman,Ravi Netravali

近年来,可编程网络设备的出现,包括可编程交换芯片和可编程网络接口卡。这个演示展示了一个名为Sluice的编程模型,它采用数据平面的网络范围规范,并将其编译成可运行的代码,可以直接在网络的可编程设备上启动。与之前专注于特定任务(例如路由和安全策略)的SNAP和Maple等全网络编程模型不同,Sluice的目标是更加通用化。

Sluice Workflow

λ—NIC:SmartNIC上的交互式无服务器计算

作者:Sean Choi,Muhammad Shahbaz,Balaji Prabhakar,Mendel Rosenblum

在无服务器计算中,服务器管理对租户是隐藏的,很多虚拟化技术变得多余,增加了无服务器的内部代码,并导致处理延迟(数百毫秒)和内存开销(数十兆字节)。增加的管理费用还限制了这些工作负载在单个服务器上的并发执行(不到100个左右),因此,提高了在数据中心运行这些工作负载的总体成本。最近,公共云提供商正在部署智能卡,试图减少主机CPU上的负载。到目前为止,这些尝试仅限于卸载特定任务(如TCP卸载、VXLAN隧道和覆盖网络),以加速主机的网络处理。λNIC利用SmartNIC接近网络和NPU内核的优势,在一个具有可预测延迟的单个NIC上同时运行数千个无服务器工作负载。为了简化无服务器计算工作负载的开发和部署,λNIC公开了一种新的基于事件的编程抽象(match+lambda),允许开发人员轻松地在智能卡上组合和执行无服务器计算工作负载。

Overview of a general serverless compute framework.Ri is the request for workload i (Wi )

实现互联网架构的永久革命

作者:James McCauley, Yotam Harchol, Aurojit Panda, Barath Raghavan, Scott Shenker

当前的互联网架构还存在着许多的缺陷,在本文中我们试图通过提出一个向后兼容的架构框架(Trotsky)来弥补这些缺陷,在这个框架中可以逐步地部署全新的设计。我们展示了如何通过简化新架构的部署以及允许应用程序同时使用多个共存架构,从而实现互联网架构的永久性革命。通过实现体系结构的演进和体系结构的多样性,Trotsky将创建一个更具可扩展性的互联网,其功能是由许多共存体系架构的结合来定义的。通过逐步部署,Trotsky不仅仅是一个有趣的全新设计,而是一个我们力所能及的进步之举。

详细的NFV性能诊断

作者:Junzhi Gong, Yuliang Li, Bilal Anwer, Aman Shaikh, Minlan Yu,Harvard University, AT&T

在现代网络中,NFV(网络功能虚拟化)可以在软件平台上运行网络功能,从而在开发新功能方面具有高度的灵活性,有助于网络运营商轻松部署网络功能,并且在网络功能管理实现低成本,因此已经取代了中间盒。然而,与中间盒相比,NFV更容易出错,而且NFV中的流量经常经历长尾延迟或偶尔的数据包丢失。通常,人们只是把这归咎于“软件”的本质,而没有重视起来。然而,随着长尾延迟在应用程序性能上变得更加重要,我们需要更好地了解NFV性能问题。

Example impact graph. (“Other” means other issues like code bugs and misconfigurations.)

物联网体系结构:轻量级、模块化和统一的网络

作者:Gonglong Chen, Yihui Wang, Huikang Li,Wei Dong

近年来,物联网(Internet of Things)技术和应用迅速发展,低功耗无线技术构成了许多物联网应用的基础。这些低功耗无线技术具有截然不同的PHY层设计和不同的协议栈,到目前为止,物联网节点之间的通信还没有完全互操作。例如,没有IP支持的IoT节点(由于严格的资源限制)不能使用应用层IoT协议(例如MQTT)相互通信。根本原因是,对于具有不同无线技术的异构物联网节点,缺乏一个轻量级和整体的网络架构。

TinyNet architecture overview. The white boxes indicate existing modules while the gray boxes indicate newly implemented modules in TinyNet.

更多关于会议的优秀论文可以点击下面链接:
链接:https://pan.baidu.com/s/1J7KjkbvFytsySluAKG9JMQ
提取码:0ptt

注:所有文档和视频均来自SIGCOMM官网:https://conferences.sigcomm.org/sigcomm/2019/


About Joyk


Aggregate valuable and interesting links.
Joyk means Joy of geeK