AI 寒冬：炒作不是在退潮，而是在爆裂（附 5 篇论文佐证）
source link: http://www.10tiao.com/html/554/201806/2654691924/1.html
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
作者：Filip Piekniewski是计算机视觉和AI领域的专家，还是Koh Young Technology公司的首席AI科学家。
我上次撰写的AI寒冬一文在网上迅速传播开来（ 可点击阅读：AI 的寒冬将来临 ！），以至于我的AWS实例差点招架不住（该文的阅读量远超过了10万人次）。（云头条备注：国内媒体也纷纷翻译刊发），该文引得许多业内人士在推文上转载，在hackernews和reddit上引发了激烈讨论。从这个经验证据来看，有一点很清楚：至于AI寒冬是否近在眼前，这是一个非常敏感、发人深思的话题。该文好像使许多人深有触动。
不管怎样，我想在这篇后续文章中回应几个观点，并解释几个误解。
炒作不是在退潮，而是在爆裂
首先，许多人在引用我写的那篇文章时都提到了AI炒作在退潮。那根本不是我阐述的观点。关于AI的炒作依然很热烈。一些主要的“造势者”已经变得更安静了，但就像我在文中解释的那样，乍一看，一切依然看上去那么美。你要洞察造势的背后，才能看清有没有裂缝。如果炒作渐渐淡化，那实际上是好事。股市崩盘时，不是每个人都慢慢地开始承认：自己为股票付了过高的价钱，悄无声息地打道回府。崩盘突如其来地发生，恐慌情绪猛地袭来，每个人都试图抛售；而同时，同一些人大造声势，以便能够找到接盘侠（即所谓的拉高出货）。只有在做市商真正找不到买家、造市者找不到现金时才会宣布危机。所以炒作是一个滞后的指标（而且常常滞后严重）。我预测，AI领域会是这种情况。自动驾驶汽车造成的每一次死亡事故都会将可能投资于AI的风险投资家（VC）的数量减少一半。对于悄然关闭的每一家AI初创公司来说也是如此。与此同时，那些已经投入巨资的公司会大造声势，而私底下试图变现资产。只有市场上没有人接盘――这时候种子轮资金早已花光，AI寒冬才变得尽人皆知。
应用是关键，就是这么简单！
认为AI寒冬并未到来的主要论点是，这一回，AI切实带来了利润，而且有真正的应用。OK，是不乏应用。主要用于图像搜索、语音识别，可能还有监视（即谷歌和Facebook等）。出现了风格迁移（style transfer），无疑会让Photoshop再次变得很出色。但这些至今都已有3个年头了。我实际上参加了悉尼举行的上一次国际机器学习大会（ICML）上的“深度学习应用”分会。说实话，那真是一次让人索然寡味的分会。
现在谈谈对AI寒冬的影响，今天AI创造了多少收入实际上并不重要。重要的是人们投入了多少资金，因此他们期望将来获得多大的回报。如果现实与这些预期不相符，那么就会出现寒冬。就这么回事。在这个周期中投入AI的资金数额非常巨大。而这些投入的重点领域是自动驾驶汽车；我所说的自动驾驶并不是指远程控制或辅以安全驾驶员――只有自动驾驶汽车真正完全自主，这种技术才有经济效益。巧合的是，这恰恰是我认为实现机会最小的一种应用。
可还有Waymo！
但有读者说还有Waymo。是指Waymo在未明确的时间段内购买多达60000辆货车吗？那又怎么样？优步在去年年底订购了200000辆沃尔沃。我想知道这笔交易后来怎样。但Waymo测试的是没有安全驾驶员的自动驾驶汽车！是的，是在菲尼克斯城最安静、最低速的路段，拥有良好的蜂窝信号接收功能，因而可以不间断地远程监控这些汽车。哦顺便说一下，车辆速度限制在25英里/小时......长话短说：Waymo甚至可能部署100万辆用LTE监测的远程控制汽车。这在自动驾驶汽车方面证明不了什么，因为这样的部署会蒙受巨大的损失。很显然，只要谷歌有钱，就会往这个领域砸钱，而谷歌不可能一直砸钱进去。谷歌自动驾驶汽车项目已存在了10年，我预计它会再运作10年。不过一旦它们研发的车撞死人，也就是项目结束之时。这就是为什么谷歌极其谨小慎微。
最近深度学习失败的几个例子
我的文章在Twitter上引起强烈反响后，出现了几篇颇引人关注的论文，另外几篇引起了我的注意：
1. 《CIFAR-10分类器是否可以泛化到CIFAR-10？》（https://arxiv.org/abs/1806.00451）：一项研究表明，通过生成一个新的测试集，模型的整体性能会大幅下降。
这表明了众所周知的数据窥视问题，这个问题不断被忽略，而且被竭力掩盖。长话短说：你的分类器要有一个无偏差的性能数字，你的测试数据就只能用一次。但是如果是这样，每次你设计一个新的分类器，必须用新的数据来测试，你的结果就不再可重现！那是统计学范畴，里面涉及概率问题。你完全可以拿固定的预留测试集来测试你的模型，结果是百分之百可重现，但它们是有偏差的。你自个作选择吧。
2. 《语义敌对例子》（https://arxiv.org/abs/1804.00499）：前一篇文章表明，即使拿仔细选择以便酷似原始训练分布的新样本来进行测试，模型的稳健性也不是很好；所以，面对来自原始分布之外的样本，机器学习不具有稳健性也就不足为奇。
3. 《为什么深度卷积网络泛化到小图像转换如此糟糕？》（https://arxiv.org/abs/1805.12177）和《旋转和转换就足够了：用简单的转换来愚弄CNN》（https://arxiv.org/abs/1712.02779）：很显然，深度网络的转换和旋转不变性被稍稍高估了。实际上，你可以在我之前的（2016年中期）那篇文章中看到一些报告的行为，我当时将一个SOA深度网络运用于我用手机拍摄的几段视频。
4. 最后但并非最不重要的是：《愚弄深度神经网络的单个像素攻击》（https://arxiv.org/abs/1710.08864）。如果你认为未能略微转换或旋转或者色调变化已经够糟糕了，那么你看到这种攻击就不会这么认为了。调整一个像素就足够了……
这些结合传统的梯度衍生对抗例子（https://blog.piekniewski.info/2016/08/18/adversarial-red-flag/）完全表明了这些方法有多么脆弱。
我们离强大的认知还远得很；在我看来，我们陷入了一种错误的范式，因此我们甚至没有朝着正确的方向前进。
AI行业交流群欢迎加入，群主微信：aclood（备注任职单位+职位，否则不予通过）
相关阅读：
神经网络、AI 很简单！所以......别再装逼、佯称自己是个天才！
搞 AI/ML 公司中 90% 从事的业务与 AI/ML 根本不沾边
刚刚，国家发布 AI 的三年发展计划（2018年-2020）（附全文）
Gartner 2018 年十大战略性技术趋势：AI 成为基础、从云到边缘等
Recommend
About Joyk
Aggregate valuable and interesting links.
Joyk means Joy of geeK