黑客用一副纸眼镜，就能“弄瞎”人脸识别算法

文丨谭婧

特朗普抬起左手，手指捋一捋炸毛的亮黄色头发，右手紧握美国总统特制签名笔，笔尖流水般滑过米白色纸面，墨水凝结，字迹微干。

大名鼎鼎的美国《2019年国防授权法案》，经参众两院审议，由美国总统签署生效。这一刻，也标志着，数字伪造技术（Digital Content Forgery）正式被写入大国史册。

每一年，海量的技术专利如潮水般问世，为何这一项技术写入《法案》？

如今，信息以光速传播，错误信息，混杂其间。小蒙小骗，大欺大诈，干扰选举，煽动暴力，搅动政局……

谣言动动嘴，辟谣跑断腿。还有一个噩耗，人工智能也掺和进去了。

阳光普照，人工智能赋能百业千行，挽起袖子进车间厂房，提起裤腿下田间地头。阳光照不到的地方，在Boss直聘上高薪诚聘“资深人工智能算法专家”的也可能是黑色产业。

早在2018年，一段骂特朗普的视频在全美疯传。骂人者不是别人，正是美国前总统奥巴马，他在视频中一本正经：

“Simply, President Trump is a total and complete dipshit. （简而言之，特朗普总统就是个彻头彻尾的笨蛋。）”

这个视频无疑是伪造的。

人工智能的进步，导致计算机能随心所欲地让视频中的人物“变脸”，人声“变调”。有视频和录音“为证”，掀起一场彻底粉碎“不在场证据”的狂欢。

未来的趋势是，技术审查和政府监督的鞭子会越抽越狠。手举鞭子吓唬人的昨天已逝，现在是一鞭子下去，得皮开肉绽。

在人工智能高超的造假能力未受重视之前，美国政府也只是消极防御。有一天，华盛顿的国会山知道了一件事——“外国不法分子伪造信息祸害美国大选”，他们的态度立刻反转。

《深度伪造技术报告法案》（DeepFake Report Act）自2019年6月下旬引入，仅仅120天之后，就作为独立法案，在参议院获一致通过，并转交给众议院消费者保护和商业小组委员会。

两院“围剿”，毫无悬念。

《法案》定义，“深度伪造技术”正式归为“数字内容伪造”，是“使用新兴技术（包括人工智能和机器学习技术）来制造或操纵音频、视觉或文本内容，以达到误导他人的目的”。

《法案》规定，美国国土安全部负责对“数字内容伪造技术”详尽调查，此后得定期汇报。法案颁布之日起5年内，国土安全部部长每年向科学技术部长提交报告。

两部“碰头”，铁板钉钉。

层层警报，级级重视，美国最高司法机构的态度，越描越明确。

深度伪造技术，是一次技术的滥用。啼笑皆非的是，这一技术的开源社区还非常活跃，软件可以上网免费用，“科技作恶”的门槛一降再降。

若以“假脸”论英雄，深度伪造，可谓风光一时。

殊不知，人工智能暗藏一股更强大的力量——对抗样本（adversarial sample）技术。

掌握了对抗样本，只戴一副打印的纸眼镜，就可以“弄瞎”手机锁屏的人脸识别。

掌握了对抗样本，破解APP人脸识别功能，可以分分钟假冒支付宝用户消费、授权网银转账、冒充滴滴专车司机。

一场你想是谁就是谁的表演，即将上演。

这是新一代黑客秘籍，而江湖却只闻其声。

镜头一：人工智能学派，几十年来沐雨栉风，几经浮沉。一代宗师甩袖抛给弟子一本《对抗攻击算法拳谱》，飘然远走。

镜头二：黑客在大雨中狂奔，一个剧烈的跪滑，表情狂放，仰天长啸：“到底什么是对抗样本？”

镜头三：视频网站B站，瑞莱智慧RealAI公司（下文简称“RealAI公司”）的研究人员，戴上一副纸眼镜，秒级“弄瞎”人脸识别算法。

这已经不是我第一次寻访研究对抗攻击算法的科学家，这次我探访到了RealAI公司的安全算法负责人，萧子豪。

这位毕业于清华大学计算机系的硕士，夏天酷爱穿一件简单的T恤。他总是声调冷静，节奏缓慢，像一潭沉静的湖水。

而他的高中时代活出了一个新闻标题——《别人在高考，保送清华学霸现身考场，为同学加油助威》。脑补萧子豪在电视台记者的话筒前，淡然一笑，表示：“考试没有什么压力，因为我已经保送清华大学物理系了。”

技术的魔力，需以一个实验来说明，才能眼见为实。

视频中，不明身份男子（该角色由萧子豪本尊扮演）戴上一副说不清是爱马仕，还是香奈儿的时尚眼镜，花纹浮夸，色调刻意失真，一股艺术气息扑面而来。感觉是走秀Party，而不是黑客攻击的案发现场。

人脸识别可以简单地理解为把密码写在脸上，刷脸就是刷卡。破解了人脸识别功能，就是破解了身份认证的唯一性。黑客佩戴眼镜之后，会被人脸识别算法误认为手机主人，解锁手机。

为什么只戴一副打印的纸眼镜，就可以“弄瞎”手机的人脸识别算法？先讲解步骤，再给出前沿学术论文的解释。

第一步，准备三个材料：攻击者的一张照片，受攻击者的多张照片，和一个深度学习人脸识别算法模型（开源的模型也可以）。讲到这里就顺口一提，很多人不在乎隐私保护，社交网站、朋友圈里有大量眉清目秀、五官清晰的照片，这都可能被黑客恶意保存。

“极端情况下，只用受攻击者的一张照片也可以，只是成功率会低一些。”这一句，萧子豪加重了语气。

第二步，将三个材料输入攻击算法，生成攻击人脸识别算法。这里的攻击算法就是知识产权的核心。算法会利用人脸识别算法模型，从受攻击者的照片中提取他/她的人脸信息，然后在攻击者的照片上构造出攻击用的对抗图案。

一般情况下，研究人员称攻击算法生成的图案为对抗图案。对抗图案叠加在原来的图片上，得到带有攻击功能的图片，叫对抗样本。（对抗图案+原有图片=对抗样本，对抗样本指的是整张图，对抗图案既可以是局部的，也可以是全局的。）

黑客的眼镜是算法生成的局部图案。

第三步，用攻击算法生成的这张图，打印制作成眼镜。表面上，是一副普通的眼镜。背地里，眼镜上的局部图案是对抗样本。戴上眼镜的人，面对手机。随后，发生不可思议的一幕——佩戴了这副眼镜，瞬间成功解锁手机。

有兴趣的群众，可以研究一下视频中手机的品牌，苹果、华为，还是小米。

而本文关注这个实验中的三个知识点：黑盒、纸眼镜、迁移性。

这是一个典型的黑盒攻击的黑客实验。

萧子豪解释道，进行攻击的算法和遭受攻击的算法，就像战争中的敌我两方。这两种算法可能不是同一个模型，背后原理是抓住了人脸模型之间的相似性（虽然人脸识别模型各有千秋，但是都属于深度学习模型，免不了会有相似性）。

攻击算法寻找、挖掘、抓住不同人脸识别模型之间的相似性，同时放大，这样就有攻击的机会。换句话说，只要攻击者能够从人脸识别模型里面挖掘出漏洞（相似性），就能够攻击模型。

研发攻击算法的过程中，挖掘相似性是一件很耗神、很熬人的事。

我们都知道，手机里的人脸识别算法需要将摄像头采集到的人脸信息作为输入的信息。手机上装载的人脸识别算法对黑客来说就是黑盒。因为在攻击之前，完全不知道其中的原理，所以称之为黑盒攻击。

纸眼镜有什么讲究呢？

眼镜是一个物理世界的真实物件，黑客戴上眼镜，就是为了改变人脸面部的特征。在做眼镜的时候，黑客还要考虑很多来自外部环境的干扰。室内的光照，打印机的色差，都会影响攻击效果。所以，需要有一些色彩矫正算法，或者一些光线补偿的算法，保证最后打印出来的眼镜在实际场景中能够攻破手机的人脸识别算法。

手机厂商使用的人脸模型和攻击它的模型，这个两个模型并不相同，为什么就攻击成功了呢？

答案是迁移性。

萧子豪说：“借用迁移学习的思路，有利于增加对迁移性的理解。”不过这样的解释还不够有诚意。他又补充道：“好比每个人都有常识，神经网络也有自己的常识。人和人想法会差很远，神经网络也是一样。不同神经网络之间用不同的语言。但是，可以用常识沟通彼此都认可的事情。”

“神经网络也有自己的常识”是萧子豪打的一个比方，他也愿意用“心理学或者生物学原理”来替代。

就是说，虽然人和人的想法/体质会差很远，但他们都会有相似的心理或者生理弱点。

前沿论文告诉我们，“对抗样本的一个有趣特性就是具有良好的可迁移性，这使得实际应用的黑盒攻击变得可行。”

“通过将动量项整合到攻击的迭代过程中，该方法可以稳定更新方向，并在迭代过程中避开局部最大值，从而得出迁移性更优的对抗样本，进一步提高黑盒攻击的成功率。”

今时今日，以对抗算法的地位，将其定义为人工智能算法前沿，丝毫不为过。而学术论文又在为其方法的迭代与演化，提供源源不断的新鲜思路。

纸眼镜的思路，也能用在云计算厂商人脸识别算法的API攻击中。

一般情况下，APP开发者不会自己研发人脸识别算法，而是通过第三方的API接口或SDK组件来获得人脸识别功能，这个第三方，可以是云计算厂商。黑客直接将对抗样本图上传到云厂商的API，进行攻击。这种对抗样本同样也可以使亚马逊、微软等人脸识别平台的服务出现严重的识别错误。

这也是一个典型的黑盒攻击。

将对抗样本用纸打印出来，黑客可以直接作为“作案工具”。也就是说， 对抗样本通过区区打印的照片就可以攻击那些算法工程师冥思苦想才能提高精确度的人脸识别算法。给人脸识别系统捣乱，听上去如此的轻而易举，似乎成了春田花花幼稚园手工课的作业。

对抗样本技术，是在用算法欺骗算法。这里的算法，是深度神经网络算法，是人工智能算法的一种。所以，也算人工智能骗人工智能。

黑盒攻击不是《聊斋志异》里的鬼故事，也不是《哈利波特》里的黑魔法。对抗样本“走出”学术论文，现身于真实的生活环境。

萧子豪特别提起2017年那场比赛，这是一个标志性事件。这场对抗样本攻防赛，由谷歌公司赞助，由图灵奖获得者Ian Goodfellow牵头，在NIPS顶级学术会议期间举办。参赛团队均来自全球顶级院校，清华大学团队在竞赛的全部三个项目中得到冠军。由清华大学博士生董胤蓬、廖方舟、庞天宇及指导老师朱军、胡晓林、李建民、苏航组队。

朱军教授在ICLR2020会议的署名论文数量排名中，位居世界第二。

竞赛中，之前的很多积累都用上了，其中一种方法——广泛的基于梯度的迭代算法来增强对抗攻击（Momentum Iterative Method，MIM），被两位图灵奖得主J.Hopcroft教授、G.Hinton教授在ICLR2019等论文中大幅引用，也被该领域主流开源项目FoolBox、Cleverhans等收录为对抗攻击的标准算法。

方法出自名为《Boosting Adversarial Attacks with Momentum》的论文，这一方法被称为代表性方法。人工智能算法领域，事实性标准最为难得和宝贵。

2017年，清华大学计算机科学与技术系人工智能实验室就开始研究这一领域。最初刷学术数据集，后面不断地提升攻击的成功率。有了RealAI公司之后，打磨重点从图像分类往人脸识别去切。

一群科研人员掌握独门技术，认为技术切实可行，判断应用价值大，那就出发，冷静且理性。

算法研究，靠理论指导方向，靠做大量的实验来实现，对抗算法也是如此。理论和其实现无法替代，实现的过程需要征服大量细节，而细节存在于大量的实验中，多番尝试，才能追求更好。就好比化学实验，摸索某种配方比例。积累得够久，才会形成技术壁垒。

都说技术壁垒是技术创业者的护城河。人工智能的护城河饱受质疑，仿佛人人手里有把尺子，伸手就能量出人脸识别算法公司技术壁垒有多高。

“对抗算法属于人工智能算法，你怎么看别人手中这把尺子？”

萧子豪的观点是，技术周期上的领先不会太久，领先6个月到12个月，最后也会都被别人赶超。但是，对抗算法有一个独特之处，使得其不会重度依赖从数据上获得的优势。

猛一听，这是个缺点。然而，面对越来越重视隐私保护的法律环境，这是名副其实的长处。

人脸识别算法信奉 “人海战术”，越是人脸数据训练出来的模型，效果越好。一个亿的人脸数据用二流设计的算法训练，一千万人脸数据用一流设计的算法训练，前者的准确率往往会更高。这就是一亿人脸数据带来的优势。

做人脸识别算法的人可能需要到处找“照片”，做对抗算法的人，则无此忧虑，因为这种算法训练所需的数据量并不大。

香港电影《盲探》中，刘德华饰演探案警官，在连续高强度工作后因视网膜脱落而双目失明。靠肉眼夜以继日地盯着监控视频录像，查找犯罪嫌疑人，并不现实。所以，人工智能纷纷在视频监控里上岗，查找视频中和犯罪分子相似度超过97%的人脸。

可惜，椅子还没有坐热，“对抗样本”的攻击就可能让人工智能看花了眼。眼看“犯罪嫌疑人”进入监控区域，结果就是找不到。因为对抗样本可以制造监控视频里的“隐身人”。

这也许会让海康威视和大华股份这样的监控摄像头厂商紧张。业界是否已有类似的攻击极难调查。谁丢人谁心里知道，吃了亏被窝里流泪，绝少会有人脸识别算法的厂商宣布受到对抗算法攻击的数据，所有电商企业也都不会说自己一年会被黑产薅多少羊毛。

危险之处还在于，浑然不觉。

安全极客们在镁光灯下相会，聚在属于自己的“光明顶”——GeekPwn国际安全极客大赛。

2018年，选手用对抗样本攻击让主持人蒋昌建的照片被识别为施瓦辛格，以此事件“宣告”攻破亚马逊名人识别系统。

2019年，对抗样本“隐身术”挑战目标检测系统识别。选手需要在A4纸上打印出干扰识别的隐身图案，实现“隐身”，纸张面积随意。是的，他们就是想用一张纸骗过监控，也就是在监控视频中隐身。

比赛结果非常惊人，所有的参赛队伍都在一米处实现“隐身”。肉眼看到明明有人，但是检测时就是“瞎了”。清华战队使用的图像面积最小（14cm*14cm），所以，成功拿下第一名的桂冠。

萧子豪也参加了比赛，他告诉我，隐身不同于对手机和云厂商API攻击的地方是：

“隐身是攻击物体检测，手机和云厂商是攻击人脸识别，被攻击的模型不同。物体检测模型攻击难度更大，因为其模型内置有对局部遮挡不敏感的能力。”

即使有高考保送清华的光环，算法研发对萧子豪也是高强度的脑力工作。

北京夏季的三伏天，挥汗如雨，人像闷在皮鞋里的脚趾。

RealAI公司位于清华科技园，距离清华大学东门只有几百米，萧子豪常去学校泳池消暑，拍打水面，水花落下，气泡上升，哗啦作响，沉在水底的蓝色里，既安静又放松，仿佛只剩下他的思考和水的浮力。

没有人会怀疑保送生的智商，也没人会怀疑清华学子的自律，而萧子豪告诉我，坚持和抗压比聪明更重要。

他的体会是：

“把一个新的事物往前推，是一件很难找到方向的事情。研究算法的过程中，会被一个问题困扰一到两年、或者数年。如果所有的精力都用来对抗压力，人会被困住，没有办法前进。有人尝试个一两百次，情绪开始波动，就干不下去了。迷茫的新手试错次数更多，所以，很多人都被阻挡在门外了。”

火车跑得快，全靠车头带。目前，对抗样本的“火车头”并非工业界，而是学术界。

2013年，在谷歌公司约有十年工龄的人工智能科学家Christian Szegedy和其他研究者先在图像分类的深度学习模型中发现了对抗样本。

随后，前谷歌大脑的年轻科学家伊恩·古德费洛（Ian Goodfellow）等研究者发现了快速攻击的对抗算法。

而后，对抗性样本的研究越来越多。

随着研究推进，文本处理、语音识别、自动驾驶、恶意软件检测等深度学习表现好的领域，统统都被对抗样本攻击了，甭管用循环神经网络，还是强化学习。

“对抗样本”骄傲地笑了，它就是能让人工智能算法失效，让人工智能算法错误分类。专业解释就是，黑客对照片里的像素，进行不可察觉的微小扰动，可以使深度神经网络以较高的置信度错误分类。

这里，还有两个知识点，一个是较高的置信度，另一个是攻击结果。

这个“较高的置信度”，可以理解为深度神经网络错误分类的时候，自以为有较大的概率自己判断（分类）对了。这种迷之自信，更让人觉得背后发凉，汗毛倒立。“我以为我做对了”的误判比起“我拿不准我是否做对了”，前者似乎更糟糕。

黑客操纵了人工智能算法的计算结果，甚至可以指定发生结果。一种是，把易烊千玺识别成别人就可以了，这个别人，爱谁是谁，你和我都行。另一种是，无论别人是谁，都识别成易烊千玺。（在专业术语中，前者是非目标攻击，后者是目标攻击。）

奥巴马“假脸风波”，让深度伪造技术名噪一时。对比看来，深度伪造技术只是用算法去欺骗人类的肉眼，而对抗样本技术则是要欺骗算法。

成千上万次的计算，人工智能最终能熟练地完成任务。这么好的技术，在一些领域的表现超越了人类，怎么好端端就傻了呢？

攻防是道法，也是术势。

“生为算法，却又不为造假而来。”是对抗样本的内心独白。

攻击与防御在学术界是一种研究思路，在大型企业安全部门也是方法论。京东安全首席架构师耿志峰，也曾在聊天时告诉我：

“攻防是信息安全的本质。所以，京东安全团队内部会定期开展大规模红蓝对抗的攻防演练。”

“外练筋骨皮”，企业安全团队，红蓝对抗。

“内练一口气”，神经网络与对抗样本，相互对抗。

对抗样本是提高人工智能鲁棒性的拳法，其终点是彻底搞懂深度神经网络。深度神经网络是人工智能诸多算法的代表作，大放异彩。人脸识别用得越多，威胁也越多。

魔高一尺，道高一丈。

虽然，人脸识别黑盒攻击的成功率还是可观的，但是，在自动驾驶等领域，还需要研究者去研究提升攻击成功率的方法。

虽然，现在深度学习+安全的应用场景还比较有限，能被攻击的对象比较少，但是，未来潜在威胁会越来越多。

虽然，对抗样本攻击在许多场景下还需要适应性地调整和优化，但是，尤擅此类的黑客还比较少，技术还处于起步阶段。

明刀易躲，暗箭难防。

潜在的危险比已知危险更有破坏力。

前沿论文中的理论告诉我们：

“评估最新的人脸识别模型在基于决策的黑盒攻击环境下的鲁棒性，即无法访问模型参数或梯度，只能通过向目标模型发送查询来获取预测标签。这种攻击在实际情况的人脸识别系统中更为实用。”
“一种基于演化算法的高效攻击方法，充分利用搜索空间的局部几何特性，并通过降低搜索空间的维数来提高攻击效率。大规模实验表明，该方法比已有的攻击方法更高效，能够以较少的查询对输入的人脸图像产生最小的扰动。”

对新技术敏感的人，齐声高呼：“人工智能变身黑客啦，求解救，在线等，挺急的。”

对新技术麻木的人，半眯着眼睛，不屑一顾地说：“我们这里，还没有这样的情况（需求）。”

老警察会告诉你，凌晨三四点是入室盗窃的高发时段。人在熟睡中，一时半会还觉察不到被贼偷了。黑产对企业进行攻击也是如此，很有可能没有被发现，一切还在不知不觉中。

有人可能会说，“人工智能换脸”这种好事，还是请领导和土豪先试用。毕竟，黑客肯定盯着高端人士，未必轮得上群黎百姓。

殊不知，给视频中人脸造假的暗潮，汹涌。

根据创业公司Deeptrace的报告，到2019年初，互联网上流传的视频，可以确定为深度伪造技术生产的，有7964个。仅仅9个月后，这个数字就跃升至14678个。根据生活赋予我们的吃亏经验，如果没有工商部门的强势执法，造假的产量不会下降（除非销量不好）。

现实中，专门制造假货的江南皮革厂可以倒闭，而深度伪造技术软件则是免费复制。造假和欺骗是一种病毒，还会变成流行性病毒。

在图像识别、语音识别等模式识别任务中，深度学习的准确度超越了人类，这也就是近几年的事。辉煌战绩一眨眼就散去，技术缺陷和可解释性问题倒像个没有尽头的迷宫。

的确，人工智能刚有点能耐，就受到攻击，这真是够闹心的。深度神经网络的台词是：“我很man，是硬科技，也有脆弱的一面。”

那人脸识别算法厂商又如何看待对抗攻击算法商业化落地呢？

一位国内著名安防公司的研发副总裁，这样对我说：

“这种新闻一开始很吓人，尤其是当YOLO V3 这种著名的神经网络被攻破的消息传出来后，公司总裁专门把报道用微信转发给我看。我们研发团队内部也专门分派人手去分析研究。”

“对于这一趋势，我有两方面的态度，一方面，对抗算法的商业化落地，不算是对人脸识别算法厂商的叫板。攻破后，我们就需要在网络结构设计上再动脑筋；另一方面，这不是一件坏事，反而带来新思路，都在为提高算法鲁棒性努力。值得重视的是，如果在人脸识别算法的竞标中，增加对抗样本的测试环节，会对行业产生震动。”

他还补充道：“对抗算法开发难度较大，相信各方都在努力。未来，对抗算法究竟有多大的能量，大家都要拭目以待。”

RealAI公司CEO田天博士的观点也同样不拘泥于算法间的针锋相对，他关注对抗算法给人工智能产业安全带来的价值。

他说道：

“其实，我们的目标客户并不是人脸识别算法公司，除了我们推测他们会自己开发对抗样本相关技术之外，我们更希望能够影响那些采购人脸识别算法的企业，以及权威的评测机构和政府监管者，推动人工智能产业安全能力的提升。

比如国家电网集团采购了（我们公司的）算法和检测平台，用于对集团内部的目标检测类算法（安防、电力设备、电路巡检）进行评测，为保障电网运维安全贡献价值。”

几千年前的楚国，有人一手持矛，一手持盾，在街头叫卖，旁人指出，“以子之矛，陷子之盾，何如？”

人脸识别算法和专攻人脸的对抗算法，表面上犹如长矛与盾牌。如果仅靠嚷嚷谁的技术更厉害，未免愚蠢。产业的要求是，算法的安全级别更上一层楼，是在人工智能算法的研发周期里加一道防火墙。

我们从攻防、对抗，讨论到了人工智能的根基，能不能下结论说“深度神经网络”的鲁棒性还不够好？原因是不是我们研究得还不够透，不够深入？

这个问题，我也请教了佐治亚理工大学计算科学与工程系终身副教授，机器学习中心副主任宋乐教授，他与清华大学朱军教授并列顶级学术会议 ICLR 2020 华人贡献榜首位。

宋乐教授告诉我的第一句话是：“You can say that.（你可以这么说。）”

他解释道：

“深度学习网络的鲁棒性还有很多没研究透彻之处。这包括模型设计、模型训练等一系列问题。比如，模型设计上，如何设计神经网络，让它只关心人眼关心的信号，以及能像人一样在识别人脸时，把感知（perception）和符号化推理（symbolic reasoning）结合起来。”

“再比如，人在看不太清楚和有疑虑的时候，会主动把注意力放在脸部细节上，比如嘴巴和眼睛的形状，或者脸上的表情，通过判断和推理细节的正确组合来进一步识别。深度学习网络还不能作到这一点。所以，后续研究的一个重要问题是：如何让深度学习把感知和符号化推理相结合？

我相信，这也是人工智能下一步的重要研究方向。”

人工智能的今天，百姓日用为道。

而学术界众人皆知的秘密——深度神经网络容易受到对抗样本的攻击，通过添加难以察觉的扰动来误导分类器。这也是质疑人工智能技术不够安全的原因之一。

而工业界众人皆知的秘密——深度神经网络的安全性和性能同步增长是非常困难的事情。鱼和熊掌如何兼得？

一部分人关心，人工智能够不够聪明？

一部分人关心，人工智能够不够安全？

世事不难，我辈何用。科学家们早已出发，他们决心深入腹地，探索人工智能的未来。

于是，对抗样本的论文，以步兵的姿态进入人工智能所有顶级学术会议。

在铿锵的步履声中，开源社区的军号声辽远响起，集结力量，呼唤创新。

哪里有唾手可得的对抗算法开源？

第一波，由谷歌员工开源的代码库Cleverhans，用于对对抗示例漏洞进行基准测试。这是全球最早的开源项目，其中也有清华大学计算机科学与技术系人工智能研究所董胤蓬博士的贡献。

第二波，IBM公司的对抗性鲁棒性工具箱（ART），是目前用于机器学习安全性做得最好的，最全面的代码库。IBM公司花了很多力气在做对抗算法，也一直在推对抗样本攻击算法与可解释的人工智能。

第三波，德国图宾根大学开源代码库Foolbox。它提供了大多数已发布的对抗性攻击方法，用于基准测试。

截至目前，没有工业级别的开源对抗模型，开源代码还停留在学术数据集上使用的阶段。没有定制化的修改，工业界依然高度依赖学术界分享的成果与信息。全球顶级大厂也把对抗样本技术用在知名产品身上，比如IBM公司的沃森，亚马逊公司的Alexa，这一次，对抗样本的责任不是攻击，而是保护。

天下一物降一物，“深度伪造技术”也有克制之法。

田天博士告诉我：“深度伪造技术并非万无一失。生成的造假视频的画面中会有不自然的纹理存在，让其学习正常情况中的纹理特征，再以此检测造假视频中不一致的纹理，这一方法可以用于打假。

“对抗样本”与“深度伪造技术”都可以造假，到底谁更牛？

田天博士回答道：“对抗样本是探究神经网络的学习原理，而深度伪造技术属于神经网络的应用，如果要一较高下，做应用比研究原理简单一些。”

“无论何时，只要人们谈及网络空间安全形势，一定会用形势严峻、应对能力不足等悲观说法，这往往会让决策者感到迷惑：网络空间安全领域为何总是缺少作为呢？”

2020年5月，方滨兴院士在《人工智能安全》一书中给出的解释是，新技术必然会带来新的安全问题，这是“伴生效应”。