AI专家们推荐的“必读”论文 【Part 2】

译者：AI研习社（ 季一帆 ）

双语原文链接： ‘Must-Read’ AI Papers Suggested by Experts - Pt 2

我们之前写了一篇文章，向大家推荐了一些AI必读论文，引起很好的反响。现在，我们推出了第二篇文章。这次推荐的论文依然是分量十足、诚意满满，各位推荐者都认为自己推荐的论文是AI人员必读的经典之作，不知各位读者怎么看。现在，我们来看看这次入选的是哪些论文吧！

不过在这之前，我还是向您推荐 我们之前的那一篇文章 ，那篇文章也绝对值得一读。

推荐人：MILA博士研究员，Alexia Jolicoeur-Martineau

推荐论文1： f-GAN: Training Generative Neural Samplers using Variational Divergence Minimization  （ f-GAN: 使用变分散度最小化训练生成神经采样器 ）- Sebastian Nowozin et al.

https://arxiv.org/pdf/1711.04894.pdf

Alexia提出可以将若干分类器视为估计f散度，于是，GAN可以被解释为最小化估计和散度。在论文中，Microsoft Research的研究人员详细介绍了相关工作、论文方法和实验验证。 阅读原文 获取更多信息。

推荐论文2： Sobolev GAN  - Youssef Mroueh et al.

https://arxiv.org/pdf/1711.04894.pdf

本文将WGAN-GP中的梯度范数惩罚视为约束鉴别器，从而使其unit-ball具有梯度。论文的数学论证极其复杂，但我们只要记住，关键在于可以对鉴别器添加各种各样的约束。这些限制条件可以防止鉴别器过分严格。论文中的Table1非常重要，我曾数次翻阅该论文，只为查看Table1，该表显示了可用的各种不同约束。 阅读原文 获取更多信息。

推荐人：DeepMind高级研究员，Jane Wang

老实说，我并不会觉得有哪篇论文要比其他论文更重要，因为我认为所有论文都是相互依存的，而科学是协作的成果。但还是要说，就我个人而言，还是会更加偏爱一些论文的，从这些论文中我受益匪浅，但这并不是说其他论文不好。这只意味着，我个人比较喜欢以下两篇论文。

推荐论文1： Where Do Rewards Come From?  （奖励从何而来？）- Satinder Singh et al.

https://all.cs.umass.edu/pubs/2009/singh_l_b_09.pdf

本文提出了一种通用的奖励计算框架，在给定适应度函数和环境分布的情况下，该框架给出了最优奖励函数的概念。实验结果表明，在此最佳奖励函数中，传统的外在和内在行为概念均有体现。 阅读原文 了解更多信息。

推荐论文2： Building machines that learn and think like people （让机器向人类一样学习与思考）- Brenden Lake et al

https://www.cambridge.org/core/journals/behavioral-and-brain-sciences/article/building-machines-that-learn-and-think-like-people/A9535B1D745A0377E16C590E14B94993

本文回顾了认知科学的进展，表明要想实现真正像人类一样学习和思考的机器，需要当前研究的创新性改进。具体来说，我们认为这样的机器应具有以下能力：1）建立可解释的、可理解的世界因果模型，而不仅仅是解决模式识别问题；2）在物理学和心理学层面进行学习，以支持和丰富机器所学知识；3）利用相关性以及学会学习使机器快速获取知识，并扩展到新的任务和情况。 阅读原文 了解更多信息。

推荐人：WinterLight Labs机器学习负责人，Jekaterina Novikova

推荐论文1： Attention Is All You Need （“笨蛋”，根本问题是注意力）- Ashish Vaswani et al.

https://arxiv.org/abs/1706.03762

在NLP科学家于2017年提出" Attention is All You Need "之后，BERT或GPT-2 / 3等大型预训练语言模型如雨后春笋般出现。这些模型令人称奇的结果不仅引起了ML / NLP研究人员的强烈关注，在公众中也引起波澜。例如，2019年，OpenAI宣称GPT-2“太过危险而不能公开”，这说法简直让人抓狂，但事实是，GPT-2确实能够生成与真实新闻无法区分的假新闻。几周前发布的GPT-3甚至被称为“自比特币以来最大的新闻”。 阅读原文 了解更多信息。

推荐论文2： Climbing towards NLU: On Meaning, Form, and Understanding in the Age of Data （ 迈向NLU：关于数据时代的意义，形式和理解 ）- Emily M. Bender et al.

https://www.aclweb.org/anthology/2020.acl-main.463.pdf

AI大热，但我希望向你泼点冷水，冷静下来好好看看2020年7月ACL会议的最佳主题论文-“迈向NLU：关于数据时代的意义，形式和理解”。作者认为，尽管现有模型（例如BERT或GPT）成果丰硕，但与人类相比，很难说它们是理解了语言及其含义。作者解释道，理解是人们在交流中，根据所说话语明白对话意图时发生的。这样，如果仅仅是语言文字，没有现实生活中的交互作用，则不可能学习和理解语言。换句话说，“从一定形式中是学习不到意义的”，这就是为什么即使巨大且复杂的语言模型也只是学习意义的“映射”，而不能了解意义本身。 阅读原文 了解更多信息。

推荐人：加拿大国家银行，AI科学首席顾问，Eric Charton

推荐论文1： The Computational Limits of Deep Learning （ 深度学习 中的计算极限）- Johnson et al

https://arxiv.org/abs/2007.05558

麻省理工学院和IBM Watson Lab发表的这篇论文对DL出版文献进行汇总分析，介绍了DL模型训练计算量的增加与其性能表现间的相关性。同时论文指出，随着计算能力的提高，模型性能改善呈放缓趋势。 阅读原文 了解更多信息。

推荐论文2： Survey on deep learning with class imbalance（关于类别不平衡的DL综述）. Journal of Big Data, 6(1), 27.

https://link.springer.com/article/10.1186/s40537-019-0192-5

该论文汇总介绍了不同DL 算法 是如何处理类别不平衡问题，该问题存在于信用建模、欺诈检测或医学检测/癌症检测等各种工业应用中。论文对不同方法进行比较分析，并着重介绍了各种方法处理类别不平衡数据的差异，为进一步的研究指明方向， 阅读原文 了解更多信息。

推荐人：NASA，机器学习主管，Anirudh Koul

也许几年后回头看，人们会发现2020年似乎是自我监督元年。自监督学习就是用非标注数据进行预训练，然后在有限标注的下游任务进行微调。仅在2020年6月之前，众多SOTA被先后打破，包括但不限于PIRL，SimCLR，InfoMin，MOCO，MOCOv2，BYOL，SwAV，SimCLRv2等众多自监督学习方法引起广泛关注。通过以下这个例子来感受一下这些方法究竟多么让人称奇吧。仅仅使用不带标签的ImageNet，然后用1％的标签进行微调，SimCLRv2模型就可以在ImageNet数据集上实现92.3％的Top-5准确性。很神奇吧，仅仅1％的标注就可以取得这样令人满意的结果。对于缺少标注数据的领域如医学、卫星等来说，自监督学习就是这些领域应用的福音。

推荐论文： A Simple Framework for Contrastive Learning of Visual Representations （一个简单的图像表示对比学习框架）- Ting Chen et al

https://www.aclweb.org/anthology/2020.acl-main.463.pdf

优秀的论文不仅实验严密、结果出色，而且还能简介明了的向读者清晰的表达自己的关键思想。SimCLR就是如此，简洁明了，效果出色，这使其成为对比学习领域最值得阅读论文之一。研究表明，在特定数据集中，通过数据增强策略获得更好的图像表示，对于对比学习至关重要。希望更多研究者关注到SimCLR，在X射线、MRI、音频、卫星图等领域推动该方法进一步的研究与发展。

推荐人：摩根士丹利副总裁，NLP/ML研究员，Oana Frunza

Revealing the Dark Secrets of BERT （BERT探秘）- Olga Kovaleva et al.

https://arxiv.org/abs/1908.08593

BERT Transformer结构极大推进了机器对文本数据的表示和理解能力，对于NLP的研究发展具有革命性的意义，可以说这就是NLP的“ImageNet”。Transformer架构的关键在于自我注意机制，“BERT揭秘”一文便对注意力的背后原理进行了探讨。

更准确地说，这项研究量化了注意力头捕获的语言信息，包括句法和语义关系等。此外，论文还进一步研究了自我注意模式的多样性及其对各种任务的影响。

该论文的研究聚焦于深层次理解强大的transformer架构，不仅利于推动该领域的进一步发展，而且有利于研究人员做出更明智的决策。也就是说，如果知道某些精简的小型体系结构会产生相似的性能，这就意味着在架构设计和空间占用方面有了更好的选择。

阅读原文 了解更多信息。

推荐人：捷豹路虎，高级数据科学家，Tamanna Haque

推荐书籍： Deep Learning with R （R语言 深度学习 ）- François Chollet et al.

本文从概念到实践对深度学习进行详细介绍，对于理解深度学习具有重要帮助。由于黑匣子性质，神经网络不仅训练成本高昂，而且不具可解释性。同时，最近数据保护法规的更改将推动可解释AI的研究，神经网络受到挑战。

尽管如此，在某些商业应用中，只有神经网络才能有效地完成工作，因此掌握神经网络技术依然至关重要。在我使用R语言进行一年左右的深度学习研究与实践中，本书是我的良师益友，指导我熟练地使用神经网络并完成图像识别项目。

推荐人：伯克利数据科学学院，首席ML科学家兼ML/AI负责人，Mike Tamir

推荐论文1： Right for the Wrong Reasons: Diagnosing Syntactic Heuristics in Natural Language Inference （错误的真正原因：自然语言推理中的启发式句法诊断）

我推荐的第一篇论文是MaCoy，Pavlick和Linzen的“错误的真正原因：自然语言推理中的启发式句法诊断”，论文表明transformer架构显著推动了自然语言推理等NLU任务的进步。在技术研究之外，“错误的真正原因”强调了基于当前数据集的系统缺陷，这在NLU任务中是致命漏洞。本论文将提醒AI从业者和研究人员保持清醒与理智。 阅读原文 了解更多信息。

推荐论文2： Emergence of Invariance and Disentanglement in Deep Representations （深度表示中的不变和解耦）

我推荐的第二篇论文是关于DL信息瓶颈分析的，也就是Achille和Soatto的研究成果“深度表示中的不变和解耦”， 阅读博客 了解详细信息。

推荐人：蒙特利尔AI伦理研究所，创始人，Abhishek Gupta

https://montrealethics.ai/the-state-of-ai-ethics-report-june-2020/

推荐论文 ： The State of AI Ethics Report （ AI伦理道德报告）

在蒙特利尔AI伦理研究所，我们一直在关注一些最具影响力的论文，这些论文不仅关注AI伦理的常见问题，而且基于经验科学并能指导实践。为此，我们将过去一个季度的工作整理成《 AI伦理道德报告，2020年6月 》，用于指导该领域的研究人员和从业人员在实践过程中遵守AI伦理责任。该报告的内容包括但不限于，NLP模型中对残疾人的社会偏见，YouTube反馈回路的潜在缺陷，AI治理，即在AI中实施道德规范的整体方法以及对抗性机器学习-行业观点。 阅读原文 了解更多信息。

AI系统与策略实验室，首席AI科学家，Jack Brzezinski

推荐论文：The Discipline of Machine Learning（机器学习学科建设）

http://www.cs.cmu.edu/~tom/pubs/MachineLearning.pdf

本文简要介绍了机器学习学科建设纲要，机器学习要解决的基本问题和与其他科学和社会的关系，以及进一步的发展方向。 阅读原文 了解更多信息。

AIRAmed，机器学习工程师，Diego Fioravanti

推荐论文： Overfitting （过拟合）

https://en.m.wikipedia.org/wiki/Overfitting

Diego认为AI人员要对“过拟合”有清晰完整的了解。本文涉及内容涵盖统计推断，回归等。 阅读原文 了解更多内容。

AI研习社是AI学术青年和AI开发者技术交流的在线社区。我们与高校、学术机构和产业界合作，通过提供学习、实战和求职服务，为AI学术青年和开发者的交流互助和职业发展打造一站式平台，致力成为中国最大的科技创新人才聚集地。

如果，你也是位热爱分享的AI爱好者。欢迎与译站一起，学习新知，分享成长。

雷锋网版权文章，未经授权禁止转载。详情见 转载须知 。