为什么神经网络会把乌龟识别成步枪？现在的 AI 值得信任吗？

编者按：人工智能的快速发展的确值得欣喜，但快速发展的背后还有各种不完善的地方。比如，前不久麻省理工学院的一些学生，利用3D打印出来的乌龟，成功地让谷歌的InceptionV3图像分类器认为其是一个步枪。乌龟=步枪？这个差距还是非常巨大的。如果正在行驶的无人汽车，把一个停车标志看成了限速标志呢？这将会带来多大的危险？近日，FastCodesign发表了一篇文章讨论了这一问题，作者为Katharine Schwab，文章由36氪编译。

一辆自动列车在轨道上飞速行驶，它的摄像头不断地扫描着各种信号，以预测它的行驶速度应该有多快。它注意到了一个似乎需要提高速度的信号，然后照做了。几秒钟之后，火车险些出轨。后来，当一名人类调查员检查出问题的标志时，他们得到的是一种截然相反的信号——是放慢速度，而不是加快速度。

这是一种极端的比喻，但它表明了当今机器学习面临的最大挑战之一。神经网络能做的只能和它们所接受的信息一样好。这导致了一些引人注目的例子，说明基于错误数据训练的人工智能是有偏见的。但这些技术也容易受到另一种被称为“对抗性的例子”的弱点的影响。当一个神经网络将图像识别为一件事物时，就会出现一个对抗性的例子——人类看到的是另外一种东西。

这一现象是在2013年发现的，当时一群来自谷歌和OpenAI的研究人员意识到，他们可以稍微改变图像中的像素，使其看起来和人看到的一样，但机器学习算法会将其归类为完全不同的东西。例如，一个图像可能看起来像一只猫，但是当一个计算机视觉程序看到它时，它是一只狗。

为什么这种巧合如此重要——而且有潜在的风险？想象一下，如果一辆自动驾驶汽车正沿着街道行驶，它可能把停车标志看成限速标志。如果有人能设计出一种财务文件，当一个人看到它时，它是一种样子，但当它被扫描进电脑时，却显示出完全不同的数字，这意味着什么呢？或者，如果某个充满恶意的人发明了一种武器，当美国运输安全管理局的摄像头扫描、使用深度学习来处理图像的时候，这种武器似乎是无害的——比如说，一只乌龟？

当它们刚被发现的时候，对抗性的例子并不是令人担忧的。许多研究人员认为这是一个极端案例，一个随机的理论巧合。毕竟，在需要完全访问算法内部的时候创建一个敌对的例子，它会欺骗用户。研究人员只能用数字图像来构建这些例子——如果你试图打印出数字形式的图像，那么你对图像的超精确控制会立即被扭曲，因为打印机的分辨率无法在如此详细的水平上捕捉像素的变化。例如，尽管你可以成功地骗过一种算法，让你以为是狗的图片在它看来是只猫，但如果你把图像打印出来，并要求算法识别它时，它就不会被骗了。在现实世界中改变一个物体似乎更加困难。这似乎是一个不可能的挑战，要创造出一个物体，在形状方面有如此细微的变化，以至于人工智能会把它误认为是别的东西。另外，即使你做到了，一旦改变了角度也不会奏效。

或者说，学界的想法就是这样的。但本月早些时候，麻省理工学院的一组学生成功用3D打印做了一个看起来像一只可爱的小乌龟的物体——但被机器学习算法当作步枪来分类。麻省理工学院的博士生Anish Athalye说：“我们已经证明了它们不是利用奇怪的角落或奇怪部件。实际上，你可以在现实生活中伪造这些物体，从而骗过机器学习算法。”

学生们创建了自己的算法，无论模糊，旋转，缩放，还是角度的任何变化（无论是打印出的2D图像还是3D模型），都可以产生物理对抗性的例子。换句话说，他们的乌龟式步枪不只是一次性的。例如，他们用3D打印出的棒球，被电脑认为是浓缩咖啡。它可以可靠地骗过谷歌的InceptionV3图像分类器——可以识别1000个不同的物体的图像。这些算法已经存在于我们的手机和电脑上，使得照片库可以被搜索到，并使得在网上可以很容易对图片中对朋友进行标记。

在被问到如何应对敌对的例子时，谷歌指出，谷歌的研究人员已经在着手解决这个问题，该公司正在进行一项竞赛，目的是创建一种图像分类算法，不会被对抗性例子所愚弄。

这个3D打印的棒球，在电脑看起来就像是一杯浓缩咖啡。

麻省理工学院的学生们的工作给将原本只存在于理论上的担忧变成了现实。“风险很高，”Athalye说，他有计算机安全方面的背景。“我们还没有打破真正的系统，但我们已经比人们想象的更接近这一步了。”

并不是只有Athalye和他的同事们在这方面进行努力。来自华盛顿大学、密歇根大学、石溪大学和加州大学伯克利分校的一组学者能够打印出贴纸，并将其附着在停止标记上，从而使图像分类神经网络将它们识别为别的东西。对停车标志的微小改动可能看起来像是给司机（或乘客）的涂鸦，但自动驾驶汽车会看到一个让车标志或限速标志。除了扰乱交通，这可能是危险的：如果一辆车没有看到停车标志，并穿过十字路口，它就会撞上另一辆车，让人们的生命处于危险之中。

Athalye说：“在实际系统中，对抗性的例子应该是一个真正值得的问题。如果我们能做到这一点，坏人也能做到。”

部分问题在于，研究人员并不完全理解为什么会出现对抗性的例子——尽管很多人能自己创造出这方面的例子。如果没有对这一现象的深刻理解，就很难建立起防御机制，使图像分类器神经网络不容易受到机器学习中最令人费解的特性的影响。

但这并不意味着研究人员没有尝试。据加州大学伯克利分校的博士后研究员Bo Li说，目前已经有60多篇论文致力于在各种不同的语境中寻找对抗性的例子。他曾致力于制作贴纸，以改变算法对街头标识的看法。

一些人乐观地认为，最终研究人员将能够找到一个解决方案，并找到一种方法来预防这种对抗性。对于安全研究人员来说，将能够通过特定的软件解决方案来抵御特定的威胁，这一点仍然是积极的。这可能不是一个能保护所有攻击的万能工具，而是防范特定类型威胁的防御措施。

Nicolas Papernot是宾夕法尼亚州立大学计算机科学研究生，他指出，研究人员正开始寻找解决方案，无论成果多么有限。他在电子邮件中告诉我：“我非常乐观地认为，我们可以取得进步，最终实现强大的机器学习。”安全和机器学习社区也进行了卓有成效的交流。例如，今年3个不同的研究小组报告了对视觉模型进行基准测试的三个关键任务：手写数字识别、街景房屋号码识别，以及对象和动物的彩色图像分类。

其他人则不那么肯定。Nicholas Carlini是加州大学伯克利分校计算机安全专业的一名博士生，他想要攻破其他学者对对抗性例子的防御机制。“我有点像坏人，”他说。“我说对不起，不，这没用。”作为攻击者，我可以根据你的防御来调整波长以进行攻击。”

Carlini已经发表了几篇关于他的攻击的文章，在2017年5月的一篇文章中，他废除了10个不同的防御计划，并正在进行更多的工作。他认为，他的研究是一种扼杀研究思路的方法，他认为这些研究不会带来任何领域的进步，学者需要将研究的火力集中在更有前途的方法上。在有限的情况下，这样的一种方法会迫使攻击者歪曲对手的样例照片，以致于人眼能明显察觉到。尽管如此，为了抵御特定的、有限的攻击，少数有效的防御手段还是无法在数据集之间进行转换。

至少根据Carlini的说法，这是一个光明的一面。他说：“在一般安全社区，我们遇到了这样一个问题，在人们开始真正试图攻击他们之前，系统已经被使用了20年，我们意识到攻破它们已经太晚了，我们已经被问题困住了。令人兴奋的是，在这些东西真正被投入使用之前，人们正在努力解决这个问题，因为这意味着我们有希望解决问题，至少有一点，或者至少在我们付诸实践之前就能理解这个问题。”

即使是3D打印的海龟也只能工作，因为Athalye和他的同事们能够接触到他们能够愚弄的神经网络的内部机制——一个“白盒子”的情况。研究人员是否能够在不知情的情况下创造出物理对抗的例子还有待观察，即所谓的“黑匣子”情况。这就是真实世界的攻击者的处境，因为美国运输安全管理局肯定不会把代码发布到任何可以用来扫描行李的神经网络上。Athalye说，在不考虑图像分类器的代码的情况下，找出如何做出对抗性的例子是他的下一个目标。

尽管这看起来很可怕，但Athalye并不认为我们需要担心——至少现在还没有出现。“没有理由恐慌。”他说：“我认为我们的工作是及时的，而且有可能损害系统。但我们还没有发现能够撞到别人的特斯拉。”

原文链接：https://www.fastcodesign.com/90153084/how-to-fool-a-neural-network

编译组出品。编辑：郝鹏程