对话AWS上海AI研究院长张峥：寻找繁荣背后的正确道路

张峥教授自去年 9 月任AWS上海 AI 研究院院长，他也是上海纽约大学计算机系终身教授，纽约大学库朗数学研究所、计算机系、数据学院兼职教授，美国伊利诺大学香槟大学（UIUC）博士。他曾任惠普中央研究院研究员，微软亚洲研究院系统研究方向创始人、首席研究员、副院长。张峥的主要研究领域为深度学习和人工智能、高性能大容量计算和存储系统。

张峥也是开源深度学习平台MXNet的共同创始人和顾问。在 2018 年 12 月， 张峥等人开源了 DGL ，这是一款面向图神经网络和图机器学习的全新框架。

最近，张峥教授接受了机器之心的专访。对于近期人工智能领域的新研究、深度学习框架的发展，他发表了自己的看法。

机器之心：回顾过去一年，人工智能领域中有哪些让您印象深刻的研究成果？

张峥：对抗网络的成熟，以及在对抗网络上建立的轮回训练（CycleGAN）的框架，有潜力可以大大降低标注成本。

另外，在自然语言处理上 Transformer 和 BERT ——在我看这工作以退为进，把自然语言处理推到了第三阶段：一开始把语言简单地看作是一个序列，所以用循环网络处理；第二阶段认为有显示的结构，所以用树状循环网络（TreeLSTM）处理带人工标注的结构语句（比如语法树）；第三阶段承认语句中有结构，但抛弃了人工标注的先验结构，用自注意力的方式让网络自己发现和利用。和很多工作一样，这是个循环上升的过程，之后一定有好工作会发生。

其他的我在机器之心上配合上海人工智能大赛写过一篇文章，可以参考（参见： 上海纽约大学张峥教授：2017 年影响力论文推荐 ）。

机器之心：过去一年中，您觉得自己最有意义的工作是什么？

张峥：我的博士生在 NeuIPS 发了第二篇文章，连续第二年获得英伟达的先锋研究奖，这两个工作都要感谢我在纽大的同事 Kyunghyun Cho 教授的合作和指导。两篇文章都是比较基础的工作，另外在图像处理和自然语言处理上也做了些其他尝试，但不能说很理想。

从系统领域转过来，要学习的还是很多，倒是带领团队潜心把图计算和深度网络结合的平台 DGL 做出来发布了，相对比较满意。

机器之心：您从大规模分布式计算理论和实践的研究转向机器学习领域。相对于一直研究深度学习的学者，您看待问题是否会有一些不同的视角？

张峥：首先要澄清一点，「不同」不见得总是好事。跨界很幸苦，不光要学新的，还要重学原来学错的。比如说我们当年在大学里把矩阵运算背得滚瓜烂熟，但对其背后的几何性质缺乏更直观（也更漂亮）的理解。Unlearn 经常比 learn 要难得多。

我是做系统出身，对模块的层次、结构、功能划分非常敏感，因此对一大坨神经元拍在一起完成一个任务的设计很排斥。任何复杂系统，都是协同作战，复杂的大数据计算（或存储）架构是这样，大脑是这样，没道理人工智能的架构不是。所以我看一个问题，设计一个网络和模型，总是本能地重视系统化的角度。

同理，我看到把机器学习用到系统设计和实践的机会要更快一点。这几年系统和深度学习结合的研究发展非常迅速，比如 SysML 这一支，我好几年前就在呼吁了。只是我一直醉心于学习 ML，自己没花时间去做。

机器之心：2018 年 9 月，您宣布任职亚马逊AWS上海人工智能研究院首任院长，任职前后您觉得自己的工作内容有些哪些转变？

张峥：挺多的，应该说是更忙了。原来教学的时间现在要换成建设研究院的具体工作，研究上面除了基础研究之外还要辟出一部分时间来看如何和AWS的产品对接。

机器之心：AWS上海人工智能研究院目前主要在进行哪些方向的研究？

张峥：主要围绕 DGL 这个平台；具体的还不方便透露。

机器之心：目前AWS上海研究院的研究人员数量有多少？正在和哪些大学展开合作？

张峥：我只能说研究院有很好的发展前景，从研究员到实习生都有不错的机会。一个研究院，和大学的研究单位在同一个生态环境中，所以我会非常注重和大学的互动。现阶段因为精力有限，会着重在上海和周边的几所高校。

机器之心：随着最近张潼离职腾讯AI Lab 等事件，有关前沿技术落地难的问题被人们广泛讨论，如何看待学界和产业界之间的隔阂？

张峥：学界和产业界应该交叉，也应该互补。如何在工业界做好研究院，本身就是一个很有意思和意义的题目，在不同时段、不同产业、不同公司文化需要有个适应的过程。长远地看，两者一定是个共生共存的关系。

机器之心：您参与开发了深度学习框架MXNet、MinPy，最近又推出了图神经网络框架 DGL。过去一年里，业界的深度学习框架经历了哪些重要进步？

张峥：我觉得学习框架有趋同的趋势，MinPy 的初衷和 PyTorch 是一样的，设计目标里先照顾用户方便；TensorFlow反过来，用暴力市场推广和良好的性能来弥补使用上的不便。

我在 NeuIPS 的研讨会上听了包括MXNet之内各个主要框架的进展汇报，显然双方在往中间走，有趋同的态势。但整体上看，进展放缓，而且有点零和游戏。

学习框架的进一步推动需要硬件和编译器的提高。硬件是每个云服务商最终能和别家竞争的独门暗器，大家都在使劲儿。AWS在编译部分和开源社团合作顺利，我认为现在看来具有优势。

机器之心：图神经网络和图机器学习会是未来的主要趋势吗？

张峥：把图像看成一堆像素，把语言看出一串符号，肯定是错误的。我一直认为繁荣的背后遮蔽了更正确的道路。信号背后有结构、有层次，但不见得必须是人能看清、能解释的结构，直觉上语言学家定义的语法都太僵硬了。没有结构的时候去发现结构，有结构的时候用好结构，这是同一枚硬币的两面，是必须要做的工作。要做好，就得把刀先磨快，这是为什么要花大功夫做 DGL。

「趋势」不好说，基础性的工作一开始不见得性能好，而现在学界跟风刷分的风气和习惯太深了。

机器之心：在AWS和纽约大学、上海纽约大学推出的 DGL 之外，最近DeepMind、微软和阿里也推出了各自的图神经网络框架（如 graph_nets、NGra、Euler），如何评价这些工具？

张峥：除了图卷积模型之外，还有小图的生成模型，还有把传统网络用图计算解构的新视角。这些都是 DGL 在项目初期就定下的目标。模型种类涵盖广，性能超越已有的开源实现，API 打磨干净，文档和教程多多易善，不和已有的框架打架（DGL 同时支持 PyTorch 和MXNet，TF 也可以移植），而是开辟新战场，这些是 DGL 和最近发布的这些框架的显著区别。事实上，也是吸取了当年 Minpy 的一部分经验和教训。

机器之心：过去一年里，人们对于自动驾驶等领域的期待正逐渐转向现实，AI 还有很多问题没有解决。在您看来，「人工智能寒冬」是否已经出现？

张峥：我没感觉到。不是说没有泡沫，或者泡沫没戳破，只是因为我不关心。有趣有意义的问题不停地出现，干都干不完啊。

机器之心：请给出自己的预测吗，在 2019 年里，人工智能领域会有哪些新发展？

张峥：预测就算了哈（笑）。如果上一年你让我预测，我可能没一个猜对。当时大家（包括我）都看好强化学习，结果至少在可重复性方面，强化学习相比其他框架，要弱得多；我当年觉得 GAN 很酷，但没料到结果可以这么好。不过，我一直认为有几个特别重要、基础性的方向，希望今年能见到好成果。

机器之心：目前人工智能的发展还面临着哪些主要挑战？

张峥：发掘结构肯定是最主要的一个。还有，embedding 到底应该是什么形式？在欧式空间里弄一个向量，肯定太简单了。另外，也是我最爱说的一点，人工智能现在在行为和计算单元上模拟人脑，但缺乏结构上的、系统级别的近似，所以和脑科学的衔接没有基础。

机器之心：您很喜欢看书，最近在看什么书？最近有什么可以推荐的人工智能类书籍吗？

张峥：书每天都读，只是今年完成的量大概减半。好在我参加一个很小的读书群，都是读书狂人，以王烁老师为代表，其中一半还写书、出书，很受益。小白老师的《封锁》今年得奖，黄昱宁老师的《八部半》开始深度涉及科幻，关注人和机器的关系。在他们的影响下读了一系列麦克尤恩的小说，他到上海我还蹭了几次局。老麦的下一部小说讲机器人，我很期待。他认为最终的分水岭不是图灵测试，而是看机器人能不能写小说。所以我一边读一边琢磨机器人有没有可能写出他那样的小说，就像之前我琢磨 Ta 们能不能写诗一样。

如果能写小说是个测试，我想如果 Ta 能在第一、第二、第三人称中腾挪转换地书写自己的才算。小说中有没有人类，或者有人类也只是个点缀，没啥关系。：）

刚读完《2018 最佳美国自然和科学写作》。这是我最喜欢的系列，读了多年，基本上所用作品都是极具文学性的科学写作。和人工智能紧密相关的有两篇文章，一个是对占了美国科学哲学一半江山的 Daniel Dennett 的写真，其中关于「僵尸悖论」的部分和第二篇又强相关，那一篇讲冷血宝宝的问题，这些宝宝长大成人后在最好的情况下也是伪装得很好但毫无同理心的「僵尸」。这里引发的问题很深刻，值得仔细想想。关于这个集子里的好文章，我会找时间把笔记整理一下发出来。