AI把“狗”认成“猫”，只因它在捕捉人类看不到的特征
source link: http://mp.weixin.qq.com/s?__biz=MzA3NTIyODUzNA%3D%3D&%3Bmid=2649568652&%3Bidx=5&%3Bsn=a5bd511fc119420201709c3d8ccb7ae9&%3Butm_source=tuicool&%3Butm_medium=referral
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
近日，一个来自麻省理工学院（MIT）的团队公开了他们的研究成果。 该文章指出，对抗样本(Adversarial Sample)导致图像识别（Image Classification）失效的现象，或许只是人类的一种“自以为是” 。识别模型捕捉的，其实是那些不能被人眼察觉的“非稳健特征”（Non-robust Feature）。如果只是基于这些像素层面的特征，模型对对抗样本的识别就不能被认为是失败的。
几乎所有图像识别算法都存在一个弱点——对抗样本问题。 对抗样本是指在一张自然图片中，对少部分像素点的数值进行修改,即使修改不足以被人眼察觉，但识别算法却做出完全错误的判断，比如把小狗识别成鸵鸟。这可能成为致命的安全漏洞，比如让自动驾驶的汽车偏离车道，或者让监控探头无法发现罪犯的身影。 《 给 T 恤印上一个图案，就能在监控下实现“隐身”？ 》
图 | 左为自然图片，识别为 “小狗”。右为刻意修改后的对抗样本，识别为“鸵鸟”。（来源： Christian Szegedy/Google Inc. ）
目前许多研究机构（如谷歌公司、麻省理工学院和腾讯科恩实验室）都在尝试解决对抗样本问题。其中主要的难题存在于三个方面，首先是视觉世界的复杂性，比如一张图片中通常存在上百万个像素点。其次，我们并没有彻底地理解卷积神经网络模型（CNN）实现图像识别的机制。此外，科学家不知道识别模型失效的原因是训练方式的问题还是训练数据量不够大？
麻省理工学院的科研团队发现，目前常用的识别模型其实是通过关注图片中，人眼无法察觉的细节来实现图像识别。 就如同人类会对比耳朵的不同，而将狗和猫的照片区分出来一样。但是AI模型却是在像素的层面进行区分。
论文的第一作者，麻省理工学院在读博士生 Andrew Ilyas 说道：“对于那些像素层面的特征，它们最大的特点就是不会被人眼察觉。”
想要弄明白 AI 到底是依据什么特征来识别图像并不容易。Andrew Ilyas等人首先定义了一整套理论框架。他们把图片中的特征分成两类：“稳健特征”(Robust Features)，指即使做了像素层面的修改也不会影响识别结果的特征（如耳朵、胡须），和 “非稳健特征”(Non-robust Features)，即会被像素修改而影响的特征（通常无法被人类识别）。
其次，他们又定义了两种训练模型的方法，“标准训练”（Standard Training）和“稳健训练”（Robust Training）。稳健训练的损失方程额外考虑了对抗样本的存在，使得模型在训练中可以强化对稳健特征识别。
图|标准训练和稳健训练的损失方程。稳健训练中划线的部分表示修改原始数据，使之成为对抗样本。（来源：Andrew Ilyas/MIT）
他们假设稳健特征和非稳健特征同时存在。并且使用和生成对抗网络（GAN）相似的方法，将原始的训练数据集（D）中的图片进行重新加工， 生成了两个新的数据集：将非稳健特征洗刷掉、只含稳健特征的 D_R，和在人类看来错误标注、但非稳健特征符合其标注的 D_NR。
图|左：原始训练数据 D，只含稳健特征的 D_R，和失去特征一致性的 D_NR。右：三种数据集在不同训练方式下的准确率。（来源：Andrew Ilyas/MIT）
研究人员指出，由于只有稳健特征，D_R 所含的信息量少于原始数据 D。实验发现，再以 D_R 为基础， 以标准训练的方法得到的识别模型，同样可以抵御对抗样本。 以此证明像素层面的修改（人眼无法分辨），并不影响图片中的稳健特征。
另一方面，研究人员对训练数据（D）进行像素层面的修改，并且不断优化，让标准模型尽可能地把图片识别成另一个类型。比如，稳健特征（人眼观察）是“狗”，而非稳健特征和标注（模型认为）则是“猫”。
研究人员将经过修改的图片集计作 D_NR，并找来一张训练数据之外的自然中“猫”图片进行测试。识别器成功把这张外来的图片也识别成了“猫”。 说明这张自然的“猫”，和 D_NR 中的“猫”具有可以被模型识别的相同属性，而这个属性就是我们看不到的“非稳健特征”。
图|图中右侧“狗”的图像，和下方“猫”的图像，都被识别成了“猫”，他们有相同的非稳健特征。（来源：Andrew Ilyas/MIT）
通过实验，Andrew Ilyas 和他的团队确定： 稳健特征和非稳健特征都存在于图片之中，并且一般的识别模型只会通过非稳健特征进行图像识别，而非稳健特征不能被人眼察觉。 所以，对抗样本本身并不是图像识别的漏洞，只是另外一种无法被我们看到的特征而已。
“这并不是模型本身有什么问题，只是那些真正决定识别结果的东西并不能被看到。”该论文第二作者、麻省理工学院在读博士生 Shibane Santurkar 补充道：“如果我们只知道算法的决策取决于一些我们看不见的东西，那我们又怎么能理所当然地以为它做的决定就是正确的？”如果一个人需要在法庭上证明监控视频中的人不是自己就会非常麻烦，因为我们不知道监控识别的错误结果是怎么得来的 。
科学家始终需要面对一个抉择，模型究竟是应该做出“准确”的决定，还是应该做出“人类”的决定？ 如果模型只是识别稳健特征，它或许就不会那么准确。然而如果决策机制偏向不能被看到的非稳健特征，那么对抗样本就会成为潜在的漏洞。如今，图像识别技术已广泛应用在日常生活中，我们需要在这两个选择之间找到某种平衡。
参考：
http://papers.nips.cc/paper/5423-generative-adversarial-nets.pdf
https://www.wired.com/story/adversarial-examples-ai-may-not-hallucinate/
https://arxiv.org/abs/1312.6199
论文：
https://arxiv.org/abs/1905.02175
坐标：北京·国贸
联系方式：[email protected]
请随简历附上3篇往期作品（实习生除外）
点击阅读原文了解题跋派 ↓↓↓
Recommend
-
59
迪士尼越做越大，它在中国的门徒却已经换了好几茬君泽·2017-12-14 06:51迪士尼你学不会今天，迪士尼宣布，公司与21世纪福斯公司...
-
28
随着WWDC2018的开幕，苹果在主题演讲期间宣布了全新的iOS12，并引入了许多新功能和改进。根据早些年的经验，新系统往往会拖慢旧iOS的反应速度，从而导致一些人并不喜欢追新升级，或者怒斥苹果这一“官方劝退”行为是为了逼大家买新机而提升销售业绩。万万没想到的是...
-
55
-
46
-
29
尽管 WebAssembly 的名字里有 "Web"，但其实它是一个通用的运行时，如今除了 Web 之外有许多平台都开始关注这一技术。在这篇博文中，作者探讨了一个应用场景，那就是将 WebAssembly 用作区块链上的智能合约引擎。 浏览器之外的...
-
34
三里屯！Apple！三里屯！Apple！ 北京时间 7 月 15 日晚上 8 点，伴随着呐喊声和鼓掌声，北京三里屯 Apple Store 最后一天运营落下帷幕。
-
4
几天的Chia挖矿体验：感觉它在谋杀的我SSD Str...
-
16
刚开始搞音乐的时候，总是有朋友告诉我，“这段bass要加个压缩器”、“这人声要加个压缩器”...，好的，我加了，也调了些参数啊啥的，嗯。当时我的内心： 这不就声音变小了嘛🤦♂️ 当然了，那时候太年轻不懂事儿，现在几乎每首歌，每...
-
5
能吃又能玩，但它在中国为什么不香？本文来自微信公众号：新零售商业评论（ID：xinlingshou1001），作者：田巧云，原文标题：《能吃又能玩，但它在中国为什么不香？》，题图来自：《...
-
12
回来看到它在我床上睡觉，我妈干的（微笑） 我又哭了 2021-07-05 11:09:47 ...
About Joyk
Aggregate valuable and interesting links.
Joyk means Joy of geeK