12

台大这门深度学习自然语言处理课程,可能被低估了

 3 years ago
source link: https://www.52nlp.cn/%e5%8f%b0%e5%a4%a7%e8%bf%99%e9%97%a8%e6%b7%b1%e5%ba%a6%e5%ad%a6%e4%b9%a0%e8%87%aa%e7%84%b6%e8%af%ad%e8%a8%80%e5%a4%84%e7%90%86%e8%af%be%e7%a8%8b%ef%bc%8c%e5%8f%af%e8%83%bd%e8%a2%ab%e4%bd%8e%e4%bc%b0
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
neoserver,ios ssh client

我爱自然语言处理

I Love Natural Language Processing

ainlp-qun-r2l.png

估计很多同学的第一反映是李宏毅老师的“深度学习人类语言处理”课程,不过这次我们说的是台湾大学陈蕴侬老师的“应用深度学习”课程,这门课程我们之前在AINLP公众号上推荐过,不过主要给大家推荐的是课程视频和课件资源。前段时间,我把这门课程放在了B站上,并花了一点时间看了一下这门课程,觉得这门课程完全可以叫做“深度学习自然语言处理”,因为基本上就是讲得深度学习NLP的事情。个人觉得这门课程结构安排得相当合理,并且重点在BERT及其相关的内容和NLP任务上,对于学习深度学习自然语言处理的同学来说,完全可以和李宏毅老师深度学习人类语言处理的课程互补。

课程主页:

https://www.csie.ntu.edu.tw/~miulab/s108-adl/

B站传送门:

https://www.bilibili.com/video/BV1Mi4y1V7A1

课程视频及课件网盘链接,请关注AINLP公众号并回复"ADL2020"获取:

AINLP

让我们来看看这门课程的目录吧:

P1 Lecture 1.1 - What is ML什么是机器学习

P2 Lecture 1.2 - What is DL什么是深度学习

P3 Lecture 1.3 - How to Apply如何应用深度学习

P4 Lecture 2.1 - How to Train a Model如何训练模型

P5 Lecture 2.2 - What is Model什么是模型

P6 Lecture 2.3 - What does the 'Good' Function Mean什么叫做好的Function呢

P7 Lecture 2.4 - How can we Pick the 'Best' Function如何找出最好的Function

P8 Lecture 2.5 - Backpropagation效率地计算大量参数

P9 TA Recitation - Optimization

P10 Lecture 3.1 - Word Representations

P11 Lecture 3.2 - Language Modeling语言模型

P12 Lecture 3.3 - Recurrent Neural Network详细解析

P13 Lecture 3.4 - RNN Applications RNN各式应用

P14 TA Recitation - Practical Tips

P15 Lecture 4.1 - Attention Mechanism注意力机制

P16 Lecture 4.2 - Attention Applications注意力的各式应用

P17 Assignment 1 Tutorial

P18 Lecture 5.1 - Word Representation Review词向量各式表示法

P19 Lecture 5.2 - Word2Vec词向量

P20 Lecture 5.3 - Word2Vec Training如何训练词向量

P21 Lecture 5.4 - Negative Sampling

P22 Lecture 5.5 - Word2Vec Variants各种训练的变化方式

P23 Lecture 5.6 - GloVe词向量

P24 Lecture 5.7 - Word Vector Evaluation如何评价词向量的好坏

P25 Lecture 5.8 - Contextualized Word Embeddings前后文相关之词向量

P26 Lecture 5.9 - ELMo芝麻街家族之起源

P27 Lecture 6.1 - Basic Attention基本注意力模型复习

P28 Lecture 6.2 - Self Attention新注意力机制

P29 Lecture 6.3 - Multi-Head Attention

P30 Lecture 6.4- Transformer

P31 Lecture 6.5- BERT进击的芝麻街巨人

P32 TA Recitation- More on Embeddings

P33 Lecture 7.1 - Transformer-XL处理超长输入的Transformer

P34 Lecture 7.2 - XLNet兼顾AR及AE好处的模型

P35 Lecture 7.3 - RoBERTa,SpanBERT,XLM简单有用的改进方法

P36 Lecture 7.4- ALBERT如何让BERT缩小却依然好用呢

P37 TA Recitation - More on Transformers

P38 Lecture 8.1- Deep Reinforcement Learning Introduction

P39 Lecture 8.2- Markov Decision Process

P40 Lecture 8.3- Reinforcement Learning

P41 Lecture 8.4- Value-Based RL Approach

P42 Lecture 8.5- Advanced DQN

P43 Lecture 9.1- Policy Gradient

P44 Lecture 9.2- Actor Critic

P45 Lecture 10.1- Natural Language Generation

P46 Lecture 10.2- Decoding Algorithm

P47 Lecture 10.3- NLG Evaluation

P48 Lecture 10.4- RL for NLG(20-05-12)

P49 TA Recitation- RL for Dialogues

P50 GAN(Quick Review)

P51 GAN Lecture 4(2018)- Basic Theory

P52 GAN Lecture 6(2018)- WGAN,EBGAN

P53 Lecture 11.1- Unsupervised Learning Introduction

P54 Lecture 11.2- Autoencoder & Variational Autoencoder

P55 Lecture 11.3- Distant Supervision & Multi-Task Learning

P56 Lecture 12.1- Conversational AI Introduction对话AI简介

P57 Lecture 12.2- Task-Oriented Dialogues任务型对话

P58 Lecture 12.3- Chit-Chat Social Bots聊天型对话

P59 Lecture 13.1- Robustness对话系统的强健性

P60 Lecture 13.2- Scalability对话系统的扩展性

P61 Final Project- Rules & Grading

P62 Career Sharing求学经验分享

最后,不得不说台大的公开课的质量还是很高的,无论是李宏毅老师,还是陈蕴侬老师的课程,对于需要中文视频课程的同学来说都是非常值得珍惜的。


About Joyk


Aggregate valuable and interesting links.
Joyk means Joy of geeK