46

数学转CS，看斯坦福NLP博士、Manning高徒Abigail See怎么学AI

 6 years ago
source link: https://www.jiqizhixin.com/articles/19032403?amp%3Butm_medium=referral
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
neoserver,ios ssh client

问：你是如何开始 AI 研究的？

答：我在英国剑桥长大，很小的时候就对数学感兴趣。我喜欢做奥数题，本科时在剑桥大学学习纯粹数学。虽然数学很有意思，但我想研究一些与现实世界联系更强的东西，于是我转向了计算机科学（CS）。幸运的是，剑桥（有时被称为「硅沼泽」）也是科技聚集地，如微软的研究机构分支就在这里，因此我开始通过实习逐渐转向 CS。

2015 年我开始在斯坦福大学读博，专业是 CS，当时我对自己想做什么并不清楚。但是我很快发现，AI，尤其是深度学习最令我感到振奋。我选择研究自然语言处理（NLP），因为我对沟通感兴趣。沟通是一项关键技能，但即使对人类而言这也并不容易。因此使计算机成为好的沟通者是很重要也很有挑战的一件事。

问：你目前在研究什么？

答：我目前主要在尝试使用深度学习开发更好的 自然语言生成 方法。适用于 机器翻译 等任务的神经方法却无法用于更开放的任务，如讲故事和闲聊，我想在这些任务上取得进展。最近，我在研究如何控制聊天机器人，使其成为更好的谈话者，让神经语言模型想得更远，以及创造更好的方法来生成连贯的故事。

去年，我在研究之外还承担了一些教学工作。我担任斯坦福大学 NLP 和深度学习王牌课程 CS224n 的助教，这门课的主讲教师是我的导师 Chris Manning 。讲这门课是一项巨大的挑战：这个领域发展得很快，因此每一年我们都要大量更新教学大纲和教材，从而跟上当前的最佳实践。例如，今天我们把 2017 年开发的教学内容更新成了全新的任务和讲义，以反映 2019 年的 NLP 和深度学习现状。所有这些都必须大规模地完成，这不仅关乎 450 名斯坦福学生，还有大量对此感兴趣的全球听众。

fMbQjqv.png!web

问：可以介绍一下你每天的工作吗？

答：大部分时候，我会与研究合作者开会，讨论想法和结果，规划下一步要做什么。比起独自工作，我更喜欢和别人一起工作。研究是一件充满挫折和挣扎的事，而合作者会帮助你不断前进。我还尝试参加一些研讨会和阅读小组，以确保自己能够不断吸收新想法。

如果我在准备 CS224n 的授课，我会用尽可能多的时间去研究内容、准备幻灯片，并练习。上课的时候虽然可以看讲义，但它只不过是教学工作的冰山一角。我们有一个 20 人的团队，一起准备从布置作业到为讲课视频加字幕的所有事情。管理这支团队是我目前最主要的工作，这就像在转碟一样，总有一些事情需要我去注意。

为了放松，我每周尝试做一些不一样的事情。目前，我参加了一支舞蹈队，而且我还在学习爵士钢琴。

aMfQv2I.png!web

问：你使用什么技术栈？

答：研究数学的时候，我的技术栈是纸和笔。现在，我用：

  • Atom 来编程：我喜欢基于 GUI 的文本编辑器。我可能永远不会学习 Vim，不学对我也没什么影响！除了编程，我还在 Atom 里写生活日常（如阅读笔记、待办事项、论文大纲等）。

  • Pytorch 做深度学习：和很多 NLP 研究者一样，两年前我从TensorFlow转 PyTorch 了，因为 PyTorch 在原型制作和 debug 方面相对好用。但是，我仍然使用TensorBoard来做可视化。

  • Overleaf 写 LaTeX 文档：LaTeX 很难，我喜欢用 Overleaf，它会让事情简单一些。

  • BetterTouchTool：我离不开这款 Mac 电脑的快捷键神器。

AFzIzaj.png!web

问：进入 AI 领域之前你做的是什么？它是如何对你现在的工作产生影响的？

答：从纯粹数学研究转到深度学习有点奇怪——前者是如此严肃，而后者是如此经验性的东西。我很喜欢之前的纯粹数学训练，因为它能让我涉猎方程和证明（即使很难，但我至少不会害怕退缩）。

除了科学，我感兴趣的还有艺术、文学、电影，以及它们与更广阔社会的关系。这些兴趣反映在我的研究中，我选择了更具创造性的 NLP 任务，比如对话语言和讲故事。我还关注人工智能在社会中更广泛的作用，例如，去年我举办了 AI 沙龙，对 AI 进行一系列讨论。

eI3eyyM.png!web

问：你如何做到持续学习？如何跟上最新的 AI 研究趋势？

答：首先，我会提醒自己与他人交谈。我觉得在斯坦福 NLP 组工作的最大收获是身边有一群很厉害的人。与这些人交谈比看大量论文学得更快，也更有教育意义。

其次，我会尽量大胆地去问问题，哪怕是蠢问题。这样做可以更快地消除障碍，而且我希望这样能够创建一个舒适的工作氛围，让每个人都能轻松地提问。

我发现教学也是一个保持持续学习的好方法。讲授 CS224n 课程要求我对各种主题的理解比以往更深。

为了跟上最新的 AI 新闻，我使用推特。我关注了很多 NLP 教授，比如 Kyunghyun Cho、Miles Brundage、Mark Riedl、Emily Bender，还有那些对这个领域提供有趣元评论的人，比如 Sebastian Ruder、Stephen Merity、Zachary Lipton。此外，我还关注那些投身计算机科学教育的人（如 Rachel Thomas、Jeremy Howard、Cynthia Lee）和研究 AI 伦理的人（如 Kate Crawford、Joy Buolamwini、Timnit Gebru）。

问：你最感兴趣的 AI 研究是什么？

答：我最感兴趣的是旨在将离散结构引入神经网络（通常有很多连续表征）的研究。这项研究很重要，它能够使神经网络进行推理。另一个我感兴趣的趋势是为 NLP深度学习开发更好的通用预训练模型（如ELMo和BERT）。我希望这种模型能让为困难或特殊的 NLP 任务构建系统变得更容易，而不是每次都重新造轮子。

jUjqimQ.png!web

问：你对想进入 AI 领域的人有什么建议？

答：我的第一个建议是：任何人都可以学习 AI。有些人说，要进入 AI 领域，首先要获得特定学科的学位、上过特定的大学或者有一定的编程经验。我觉得这种观点有些狭隘，有很多条通向 AI 的路。例如，我开始读博士的时候，几乎不知道如何写代码。AI 是一个快速发展的领域，相关的应用无处不在。来自任意学科、拥有任意背景的人都能够而且都应该为 AI 做点什么。我们需要依靠大家的努力才能实现最好的 AI。

我的第二个建议是：学习 AI 不要一刀切。有些人更想学习理论知识，有些人可能更喜欢实践知识。现在有越来越多的高质量资源供大家学习 AI，而且很多都是免费的。你可以尝试这些东西，找出适合自己的学习方式。

原文链接：https://www.deeplearning.ai/working-ai-in-the-lab-with-nlp-phd-student-abigail-see/


report

Recommend

About Joyk


Aggregate valuable and interesting links.
Joyk means Joy of geeK