7

一天刷到5篇「x is All You Need」,当学术论文开始标题党……

 3 years ago
source link: https://www.jiqizhixin.com/articles/2021-02-24-5
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.

2017 年 6 月,Transformer 横空出世,迅速成为自然语言处理领域中的主流预训练模型,并在近期迎来了在计算机视觉等多个领域中的 跨界应用热潮

但它引领的潮流不止于此。其原始论文 《Attention is All You Need》 发表后,各种标题中包含「X is All You Need」的论文层出不穷。

但此类「X is All You Need」论文篇篇都有高含金量吗?X 真的重要到「All You Need」的程度吗?还是论文作者把这个句式当做「财富密码」?或许我们可以从其「通货膨胀」程度一窥究竟。

佐治亚理工学院机器学习博士生 Aran Komatsuzaki 发推表示:「光今天的 arXiv feed 流就出现了大概五篇标题中包含『X is All You Need』的论文。现在这个句式可能已经过于普遍了。」

Q3QNNzm.png!mobile

机器之心在 arXiv 平台上以「All You Need」作为关键词进行了搜索,仅 2 月份标题中包含「All You Need」的论文就多达 6 篇,部分截图如下:

RR7jQr3.png!mobile

图源:https://arxiv.org/search/?query=All+You+Need&searchtype=title&abstracts=show&order=-announced_date_first&size=50

无独有偶,今天 reddit 上也有一个讨论论文标题党的热帖:「A Good Title Is All You Need」。这个帖子的标题可以说很讽刺了。

FBZrQvM.png!mobile

发帖人表示:很怀念从论文标题就能看出文章主要结论的「旧时光」。然而现在一大堆标题为「X is All You Need」的论文只是展示了应用 X 之后的边际效应。

除了「X is All You Need」类标题以外,发帖人还吐槽了另一种常见的论文标题模式,即描述方法而不透露结果,例如「Reinforcement Learning with Bayesian Kernel Latent Meanfield Priors 」。这种标题比「X is All You Need」类标题好一些,但它只描述了作者做的事情,并未陈述观察结果 / 实验结果。

当学术论文开始「标题党」,它们是会小试牛刀,还是在这条路上越走越远呢?

在这个热帖评论里,我们或许能够找到答案。

VFBBrqF.png!mobile

当你在 2021 年的春天思考会不会出现「我尝试了一个新的目标函数,效果不敢相信!」、「OMG,这个新方法让你神魂颠倒」的论文标题时……(本编辑:翻译这类标题,我不相信自己会输!)

有人在 2016 年就已经开始了:We used Neural Networks to Detect Clickbaits: You won't believe what happened Next!(我们用神经网络检测了标题党,难以相信竟然发生了这样的事!)(不过,这个标题或许是对它要研究的「标题党」的反讽。)

对于这类标题,评论区大部分人认为属于「标题党」,并表示不希望学术论文的标题和油管视频一个风格。

但也有人表示无奈:

不可否认,这类标题会增加吸引到读者注意力以及被记住的概率。

qqQZvyb.png!mobile

看来,机器学习领域论文数量暴涨不只给论文评审带来了难题。

参考链接:

https://www.reddit.com/r/MachineLearning/comments/lqh9br/d_a_good_title_is_all_you_need/

https://twitter.com/arankomatsuzaki/status/1364041692651745280


About Joyk


Aggregate valuable and interesting links.
Joyk means Joy of geeK