55
论文笔记：Empirical Evaluation of Gated Recurrent Neural Networks on Sequence Mo...
source link: http://www.zmonster.me/2018/11/10/evaluation_of_gated_rnn_on_sequence_modeling.html?amp%3Butm_medium=referral
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
作者
- Junyoung Chung
- Caglar Gulcehre
- KyungHyun Cho
- Yoshua Bengio
观点
- RNN 在很多机器学习任务尤其是变长输入输出的任务上效果拔群
- 经典 RNN 有两个主要的问题: 梯度消失, 长期记忆急速衰减。
- 解决 RNN 难以训练的尝试有两种: 一种是设计更好的学习方法(Bengio 2013)，另外一种是设计更复杂的激活函数
- LSTM 不会每次都重写 memory，而是可以通过 input/forget gate 在需要的时候尽量地保留原来的 memory
- LSTM/GRU 中额外增加的 cell state，让它们能记住较早之前的某些特定输入，同时让误差反向传播时不会衰减地太快
数据集
-
polyphonic music dataset(Boulanger-Lewandowski et al. 2012)
- Nottingham: http://abc.sourceforge.net/NMD/
- JSB Chorales: http://www.jsbchorales.net/index.shtml
- MuseData: http://musedata.stanford.edu/
- Piano-midi: http://www.piano-midi.de/
- Ubisoft Datasets
模型/实验/结论
实验: 在上述几个数据集上，分别使用经典 RNN、LSTM、GRU 进行训练，并记录 NLL 的变化情况。
结论: LSTM/GRU 在收敛速度和最后的结果上，都要比经典 RNN 要好，但 LSTM 和 GRU 在不同的数据集和任务上虽然互有优劣但差异不大，具体使用 LSTM 还是 GRU 还要视情况而定。
概念和术语
-
polyphonic music:
(来自维基百科)
复音音乐/复调音乐/和弦，一种“多声部音乐”。作品中含有两条以上（含）独立旋律，通过技术性处理，和谐地结合在一起，这样的音乐就叫做复音音乐。
复音音乐第一个“音”字表示旋律，中国音乐界习惯将“复音音乐”称为“复调音乐”，主要是着眼于曲调一词，但“复调音乐”容易与二十世纪的“复调性音乐”一词混淆。
总结
实验很粗暴，结论很简单。
Recommend
About Joyk
Aggregate valuable and interesting links.
Joyk means Joy of geeK