24
GitHub - learning511/cs224n-learning-camp
source link: https://github.com/learning511/cs224n-learning-camp
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
README.md
深度学习之自然语言处理斯坦福大学CS224n课程集训营
课程资料
- 课程主页
- 中文笔记
- 课程视频
- 实验环境推荐使用Linux或者Mac系统,以下环境搭建方法皆适用:
Docker环境配置
本地环境配置
重要??一些的资源:
前言
自然语言是人类智慧的结晶,自然语言处理是人工智能中最为困难的问题之一,而对自然语言处理的研究也是充满魅力和挑战的。 通过经典的斯坦福cs224n教程,让我们一起和自然语言处理共舞!也希望大家能够在NLP领域有所成就!
知识要求(学习的过程中可以遇到问题后再复习)
- 了解python基础知识
- 了解高等数学、概率论、线性代数知识
- 了解基础机器学习算法:梯度下降、线性回归、逻辑回归、Softmax、SVM、PAC(先修课程斯坦福cs229 或者周志华西瓜书)
- 具有英语4级水平(深度学习学习材料、论文基本都是英文,一定要阅读英文原文,进步和提高的速度会加快!!!!)
知识工具
为了让大家逐渐适应英文阅读,复习材料我们有中英两个版本,但是推荐大家读英文
数学工具
斯坦福资料:
中文资料:
- 机器学习中的数学基本知识
- 统计学习方法
大学数学课本(从故纸堆里翻出来^_^)
编程工具
斯坦福资料:
中文资料:
学习安排
每周具体时间划分为4个部分:
- 1部分安排周一到周二
- 2部分安排在周四到周五
- 3部分安排在周日
- 4部分作业是本周任何时候空余时间
- 周日晚上提交作业运行截图
- 周三、周六休息^_^
Week1
- 自然语言处理和深度学习简介
- 课件: lecture01
- 观看视频1
- 学习笔记:自然语言处理与深度学习简介
- 词的向量表示1:
- 课件: lecture02
- 观看视频2
- 学习笔记:wordvecotor
- 论文导读:一个简单但很难超越的Sentence Embedding基线方法
- 论文原文: paper
- 论文分析: highlight
- 论文笔记:Sentence Embedding
- 1.1 Softmax 算法
- 1.2 Neural Network Basics 神经网络基础实现
Week2
- 高级词向量表示:word2vec 2
- 课件: lecture03
- 观看视频3
- 学习笔记: word2vec-2
- Word Window分类与神经网络
- 课件: lecture04
- 观看视频4
- 学习笔记:Word Window分类与神经网络
- 论文导读:词语义项的线性代数结构与词义消歧
- 论文原文: paper
- 论文分析: highlight
- 论文笔记:词语义项的线性代数结构与词义消歧
- 1.3 word2vec 实现
- 1.4 Sentiment Analysis 情绪分析
Week3
- 反向传播与项目指导:Backpropagation and Project Advice
- 依赖解析:Dependency Parsing
- 论文导读:高效文本分类
- 作业: Assignment 2.2
- 2.2 Neural Transition-Based Dependency Parsing 基于神经网络的依赖分析
Week4
- TensorFlow入门
- 课件: lecture07
- 观看视频
- 学习笔记:TensorFlow
- RNN和语言模型
- 论文导读:词嵌入对传统方法的启发
- 论文原文: paper
- 论文分析: highlight
- 论文笔记:词嵌入对传统方法的启发
- 2.1 Tensorflow Softmax 基于TensorFlow的softmax分类
Week5
- 高级LSTM及GRU:LSTM and GRU
- 课件: lecture09
- 观看视频
- 学习笔记: 高级LSTM及GRU
- 期中复习
- 课件: lecture-mid
- 观看视频
- 论文导读:基于转移的神经网络句法分析的结构化训练
- 论文原文: paper
- 论文分析: highlight
- 论文笔记:基于神经网络句法分析的结构化训练
- 2.3 Recurrent Neural Networks: Language Modeling 循环神经网络语言建模
Week6
- 机器翻译、序列到序列、注意力模型:Machine Translation, Seq2Seq and Attention
- 课件: lecture10
- 观看视频
- 学习笔记: 机器翻译、序列到序列、注意力模型
- GRU和NMT的进阶
- 课件: lecture11
- 观看视频
- 学习笔记:GRU和NMT的进阶
- 论文导读:谷歌的多语种神经网络翻译系统
- 论文原文: paper
- 论文分析: highlight
- 论文笔记:谷歌的多语种神经网络翻译系统
- 3.1 A window into named entity recognition(NER)基于窗口模式的名称识别
Week7
- 语音识别的end-to-end模型
- 课件: lecture12
- 观看视频
- 学习笔记: 语音识别的end-to-end模型
- 卷积神经网络:CNN
- 论文导读:读唇术
- 3.2 Recurrent neural nets for named entity recognition(NER) 基于RNN的名称识别
Week8
- Tree RNN与短语句法分析
- 课件: lecture14
- 观看视频
- 学习笔记: Tree RNN与短语句法分析
- 指代消解
- 论文导读:谷歌的多语种神经网络翻译系统
- 论文原文: paper
- 论文分析: highlight
- 论文笔记:Character-Aware神经网络语言模型
- 3.3 Grooving with GRUs((NER)基于GRU的名称识别
Week9
- DMN与问答系统
- NLP存在的问题与未来的架构
- 论文导读:学习代码中的语义
- 课程大作业:
全球AI挑战赛观点型问题阅读理解数据集2018
Week10
- 挑战深度学习与自然语言处理的极限
- 课件: lecture18
- 观看视频
- 学习笔记: 挑战深度学习与自然语言处理的极限
- 论文导读:neural-turing-machines
- 论文原文: paper
- 论文分析: highlight
- 论文笔记:neural-turing-machines
3 论文导读: 深度强化学习用于对话生成
- 论文原文: paper
- 论文分析: highlight
- 论文笔记:深度强化学习用于对话生成
Week11
- 论文导读:图像对话
- 比赛复盘
- 课程总结
Recommend
About Joyk
Aggregate valuable and interesting links.
Joyk means Joy of geeK