0

刚刚,ICLR 2021正式放榜:接收率上升,860篇论文创新高

 1周前 阅读数 2
以下为 快照 页面,建议前往来源网站查看,会有更好的阅读体验。
原文链接: https://www.jiqizhixin.com/articles/2021-01-13-4

几个小时前,人工智能顶会 ICLR 2021 放出了今年的论文接收结果。

和其他著名人工智能会议一样,今年的 ICLR 论文投稿数量继续增长:共获得 2997 篇有效投稿,860 篇论文最终被接收(2020 年为 687 篇),其中 53 篇将进行口头讲述报告(Oral),114 篇 Spotlight,其余为 Poster 论文。

QzuIbqn.png!mobile

今年大会论文 29% 的接收率相比去年的 26.5% 也有提升,与其他一些顶会大幅降低接收率相比,ICLR 似乎更加友好。但在社交网络上,我们仍然看到了「评分 6、8、6、8,但仍被程序主席毙掉」的惨剧。在此之前,所有论文的初审结果已于去年 11 月 11 日公布。值得注意的是,此次会议收到的论文中有 856 篇是 NeurIPS 2020 Rejection 之后再提交的。

论文结果放出以后,人们也整理了本次大会的论文评分和链接列表:

https://docs.google.com/spreadsheets/d/1n58O0lgGI5kI0QQY9f4BDDpNB4oFjb5D51yMr9fHAK4/edit#gid=1546418007

其中可见,不同于去年超过 30 篇满分论文,今年只有 15 篇论文获得了平均 8 分及以上的分数,也没出现「满分论文」。其中排名最高的是来自麻省理工学院(MIT)Keyulu Xu、马里兰大学 Mozhi Zhang、Jingling Li 等人的论文《How Neural Networks Extrapolate: From Feedforward to Graph Neural Networks 获得了 9、8、9、9 四个评分。

i2umMji.png!mobile

论文链接:https://openreview.net/forum?id=UH-cmocLJC

该研究的主题是通过梯度下降训练的神经网络如何外推(extrapolate),即在训练分布的支持以外还能学到什么。之前的研究表明用神经网络外推时的混合实验结果如下:虽然多层感知机(MLP)在一些简单任务中无法很好地外推,但是图神经网络(GNN,一种具有 MLP 模块的结构化网络)在一些较为复杂的任务中已经显示出一定的成功。通过理论解释,研究者确定了 MLP 和 GNN 良好推断的条件。

首先,该研究对 ReLU MLP 从原点沿任何方向快速收敛到线性函数的观察结果进行量化。这意味着 ReLU MLP 不会外推大多数非线性函数。但是,当训练分布足够多样化时,ReLU MLP 被证明可以用于学习线性目标函数。其次,结合分析 GNN 的成功和局限性,这些结果提出了一种假设:GNN 在将算法任务外推到新数据(例如较大的图或边权重)方面的成功取决于架构或特征中的特定于编码任务的非线性性。该研究为这种假设理论和实验依据。该研究的理论分析建立在超参数网络与神经正切核的连接上。实验表明,该研究的理论适用于不同的训练设置。

q2qqAf6.png!mobile

图 1:ReLU MLP 如何外推。研究者训练 MLP 以学习非线性函数(灰色),并从内部(蓝色)和外部(黑色)两方面绘制其预测结果。MLP 从原点沿多个方向迅速收敛至训练数据范围以外的线性函数。因此,MLP 在大多数非线性任务中无法很好地外推,但 MLP 能够很好地全局外推线性目标函数。

uA3I7f2.png!mobile

图 2:GNN 如何外推。由于 MLP 在学习线性函数时可以很好地进行外推,因此研究者作出如下假设:如果在架构(左)和输入表征(右,借助域知识或表征学习)中编码适当的非线性,GNN 就会在动态规划(DP)中很好地进行外推。编码的非线性可能对于插值(interpolation)是非必需的,因为它们可能是通过 MLP 模块近似化的,但是它们有助于外推。

ICLR 全称为 International Conference on Learning Representations(国际学习表征会议)。自 2013 年开始每年举办一次,2021 年将举办第九届会议。该会议与 CVPR、ACL、NeurIPS 等学术会议一样被认为是国际人工智能顶会,同时也是 CCF 评选的一类会议。

ICLR 的创始人包括深度学习三巨头之二的 Yoshua Bengio 和 Yann LeCun。数据的应用表征对机器学习的性能有着重要的影响,表征学习对于计算机视觉、语音处理、自然语言处理等多个领域都起着至关重要的作用,ICLR 旨在打造这一领域交流研究的平台。

今年的 ICLR 大会原定于奥地利首都维也纳举行,但由于新冠疫情的原因已连续第二届改为线上形式,正式的活动将在 5 月 4-8 日进行。

虽然参会的人数还不是最多,但 ICLR 的影响力已不容小觑。在今年的论文结果放出之后,Yann LeCun 在推特上给出了一些 ICLR 大会的数据:

UJbQrub.png!mobile

ICLR 的谷歌学术 h5 指数已经排到了全榜第 17 名,超过了 NeurIPS、ICCV、ICML,落后于 CVPR(该榜单的前三名是 Nature、新英格兰医学杂志和 Science)。

对于一个 2013 年刚起步的学术会议来说,这是相当值得称赞的成绩。LeCun 表示,开放的审稿形式,以及深度学习领域近年来的良好发展趋势是 ICLR 大会成功的原因。

参考内容:

https://iclr.cc/Conferences/2021/Dates

https://scholar.google.com/citations?view_op=top_venues&hl=en


猜你喜欢

关于极客头条


聚合每日国内外有价值,有趣的链接。

AD