2小时演讲，近140页PPT，这个NeurIPS Tutorial真是超硬核的AI硬件教程

近日，NeurlPS2019 大会放出了一个名为「Efficient Processing of Deep Neural Network: from Algorithms to Hardware Architectures」的演讲。该演讲主要介绍各类能够使硬件高效处理深度神经网络（DNN）计算的方法，包括在计算机视觉、语音识别、机器人等领域，而涉及到的硬件包含了从 CPU、GPU 到 FPGA 和 ASIC 等各类计算硬件。

演讲地址（包括同步的 PPT）：https://slideslive.com/38921492/efficient-processing-of-deep-neural-network-from-algorithms-to-hardware-architectures

PPT 地址：http://eyeriss.mit.edu/2019_neurips_tutorial.pdf

演讲主讲人是 Vivienne Sze，来自 MIT 的高效能多媒体系统组（Energy-Efficient Multimedia Systems Group）。她曾就读于多伦多大学，在 MIT 完成 PhD 学业并获得电气工程博士学位，目前在 MIT 任教。Sze 教授的主要研究兴趣是高效能算法和移动多媒体设备应用架构，

Sze 教授。

DNN 加速方法全涵盖

本次演讲的主题是 DNN 在硬件设备中的高效计算处理方法。随着深度学习算法效率逐渐提高，计算速度、延迟程度、耗能和硬件成本成为制约算法性能的瓶颈问题。如果能够解决这些问题，包括自动驾驶、无人机导航、智能手机、可穿戴设备和物联网设备就都能够受益于算法性能的提升。

在演讲中，Sze 教授首先会介绍 DNN 算法，以及它们在各类硬件上部署时可能带来的性能损失。更重要的是，演讲会提到基准测试和评价标准对设计高效 DNN 算法带来的影响。之后，Sze 教授会从算法角度硬件架构两个角度介绍减少耗能的方法。同时，演讲也会涵盖将这些方法应用于计算机视觉等领域。Sze 教授因多项成果获得过谷歌和 Facebook 的 faculty 奖等多个奖项。

本次演讲的主要目标如下：

• 1. 让硬件高效处理 DNN 的方法（非常多）；

• 2. 关注包括设计 DNN 硬件处理器和 DNN 模型的评估方法；

• 设计 DNN 硬件处理器和 DNN 模型的方法；

• 研究过程中，你应当问什么样的关键问题；

• 3. 具体地，演讲还会讨论；

• 真正需要评价和对比的评估指标体系；

• 达成这些指标的挑战；

• 了解设计中需要考虑到的问题，以及可能平衡在算法性能和耗能中遇到的问题；

• 4. 要关注硬件推理，但包括一部分训练的内容。

在讲解的过程中，Sze 教授会穿插大量的图解和案例，让介绍更加充实有趣。

演讲目录

以下为演讲目录：

• 深度神经网络概述；

• 关键指标和设计目标；

• 设计考量：

• CPU 和 GPU 平台；

• 专用/特殊用途平台（ASICs）；

• Q&A；

• 算法（DNN 模型）和硬件联合设计；

• 其他平台；

• 用于系统评价 DNN 处理器的工具；

从视频来看，Sze 教授十分严谨、细致地介绍了这一领域几乎所有的内容，非常适合在实际应用中需要了解各类硬件加速方法的研究者和开发者观看。机器之心对其中的主要内容进行了选编：

重点内容

演讲刚开始，Sze 教授回顾了深度学习的发展，并简要提到了一些主要的 DNN 模型。

随后，她介绍了评价模型在耗能方面的一些关键指标。她指出，指标体系实际上比人们想的要丰富和复杂得多。比如说，在评价模型的时候，要更多地关注到诸如延迟性（在交互式应用中）、能耗、硬件成本、灵活性和可扩展性等方面。

这些指标背后，都应当有具体可量化的目标。因此，在演讲中，Sze 教授将这些目标分解为多个实际的子任务目标，并量化了所需要经过的步骤和方法。并根据分解任务和分析后的结果提出应当进行优化的环节，以及具体的方法，整个讲解鞭辟入里。

要达成这些指标，需要的不仅仅是算法方面的优化。Sze 教授同时也介绍了设计方面应当考虑的目标和任务，并分解成了软件和硬件层面，并给出了详细的分解。

演讲中还值得一提的是，Sze 教授提到了算法和硬件协同设计的思路。通过这样的方式，更好更快地达到目标。

甚至有对神经架构搜索一类算法的设计思路整理。

最后，Sze 教授对整个演讲进行了总结。

从演讲内容来看，Sze 教授的思路非常清楚。她首先为「高效加速 DNN」提出了评价标准和对应的分解任务和目标，并根据这些目标提出相应的方法。期间还囊括了不同的硬件平台、算法和任务，可谓是「一条龙」介绍。机器之心在此推荐读者朋友观看演讲，定能有所收获。

当然，除了 Sze 教授的演讲外，机器之心还会继续关注重要的 Tutorial 并推荐给大家。欢迎读者们继续关注 NeurlPS2019 大会相关报道。