深度强化学习（一）——教程, 工具/框架

2018-12-20

http://incompleteideas.net/sutton/book/the-book-2nd.html

《Reinforcement Learning: An Introduction》，Richard S. Sutton和Andrew G. Barto著。

注：Richard S. Sutton，加拿大计算机科学家，麻省大学阿姆赫斯特分校博士（1984年），阿尔伯塔大学教授。强化学习之父，研究该领域长达三十余年。

Andrew G. Barto，麻省大学阿姆赫斯特分校教授。Richard S. Sutton的导师。

http://incompleteideas.net/sutton/609%20dropbox/slides%20(pdf%20and%20keynote)/

Sutton的pdf和keynote

注：资料中的.key文件即为keynote文件。这种格式是苹果设备上的专用ppt格式，在其他系统中查看不了。

http://www0.cs.ucl.ac.uk/staff/D.Silver/web/Teaching.html

UCL Course on RL

David Silver，剑桥大学本科（1997年）+阿尔伯塔大学博士（2011年）。伦敦大学学院讲师。现为DeepMind研究员。AlphaGo之父。

Silver的名声直追他的导师Sutton，这个教程也流传很广。后续介绍的教程中，多有对它的抄袭。

http://www.meltycriss.com/2017/09/09/note-reinforcement-learning/

课程笔记《UCL强化学习》。这个blog包含大量的思维导图。

https://mp.weixin.qq.com/s/_PVe7Gcq7Yk8nOFJFPcUQw

叶强：David Silver《深度强化学习》公开课教程学习笔记完整版

https://github.com/clamesc/reinforcement-learning-mindmap

另一个版本的David Silver课程的思维导图。

http://web.stanford.edu/class/cs234/syllabus.html

CS234: Reinforcement Learning

http://rail.eecs.berkeley.edu/deeprlcourse/

CS 285/294: Deep Reinforcement Learning

以上1本书+4个课程，基本就是目前RL领域的黄金搭档了。Stanford的课程内容比较新，但是很浅。UCB的课程通常都是给入门以后的人准备的，无论DL还是RL，都是这样。Sutton和Silver的课程内容比较老，但是很有深度。和CV领域只需要学习DL，而不需要学习传统方法不同，按照Sutton的说法，基本算法原理远比神经网络更重要。

此外，还是老惯例，推荐一下李宏毅DL课程中的DRL部分。

https://zhuanlan.zhihu.com/p/186093914

深度强化学习工程师/研究员面试指南

这个指南包含了DRL的绝大多数的研究方向，适合入门之后，选择若干深入方向之用。

https://inst.eecs.berkeley.edu/~cs188/fa18/index.html

CS 188: Introduction to Artificial Intelligence。这个课程偏重RL和机器人，有贝叶斯网络的内容，但没有DL的内容。

http://www.eecs.wsu.edu/~taylorm/17_580/index.html

CptS 580: Reinforcement Learning

http://www.eecs.wsu.edu/~taylorm/2011_cs420/index.html

Artificial Intelligence。这个课程名义上叫AI，实则包括状态空间搜索、强化学习和贝叶斯网络三部分内容。

http://www.eecs.wsu.edu/~taylorm/2010_cs414/index.html

Introduction to Machine Learning。Matthew E. Taylor的本行是RL，所以不管什么课程，都有RL的内容。

Matthew E. Taylor，安默斯特学院本科（2001年）+德州大学奥斯汀分校博士（2008年）。华盛顿州立大学副教授。

https://katefvision.github.io/

CMU: Deep Reinforcement Learning and Control

https://course.ie.cuhk.edu.hk/~ierg6130/schedule.html

香港中文大学：Reinforcement Learning

http://nanjiang.cs.illinois.edu/cs498/

CS 498 Reinforcement Learning

http://nanjiang.cs.illinois.edu/cs598/

CS 598 Statistical Reinforcement Learning

姜楠，清华本科（2011）+University of Michigan博士（2017）。UIUC AP。

https://github.com/aikorea/awesome-rl

提供了RL方面的资源网页。aikorea还提供了同类的资源收集网页：awesome-rnn, awesome-deep-vision, awesome-random-forest。

https://www.distributional-rl.org/

Distributional Reinforcement Learning

https://mp.weixin.qq.com/s/dS0oQbGtrdd4rS25cBNyoQ

面向Open AI, TensorFlow, Keras的强化学习书籍《Reinforcement Learning》

https://102.alibaba.com/downloadFile.do?file=1517812754285/reinforcement_learning.pdf

《强化学习在阿里的技术演进与业务创新》，这是阿里出品的RL实战类书籍。

https://mp.weixin.qq.com/s/RbUcEOctRm8kX6_Ar4J0CA

446页简易Python强化学习教程书籍

https://mp.weixin.qq.com/s/7DlbuJI_gARJRABnlZQcxQ

伯克利大学ICML2018强化学习80页教程

https://mp.weixin.qq.com/s/7WnlNvxk0KKVPYqvSi7fKA

40页 PPT，BMM夏令营《强化学习简明教程》

https://mp.weixin.qq.com/s/VelM7ndXfevXKfPno-T9jQ

微软亚研130PPT教程：强化学习简介

https://sites.ualberta.ca/~szepesva/RLBook.html

《Algorithms for Reinforcement Learning》

https://mp.weixin.qq.com/s/tZjIdNSLvIVzho-IlCvm6A

93页随机近似与强化学习教程分享

https://mp.weixin.qq.com/s/o1wLREqtIZpzH2NxLl9M7A

深度强化学习简介

https://mp.weixin.qq.com/s/Y9DfxQJ-w23QXxKV0z26ag

MIT科学家Dimitri P. Bertsekas最新2019出版《强化学习与最优控制》

https://mp.weixin.qq.com/s/2cEd_FGmj-WVfm4KrQfMMg

《深度学习与机器人学》大牛Pieter Abbeel 105页PPT下载

https://mp.weixin.qq.com/s/u49cuDV21ITs1aV9tJR85g

Pieter Abbeel：《深度学习在机器人中的应用》

https://mp.weixin.qq.com/s/z9MvLuqjY5Xmty18ZP10WQ

UC伯克利Pieter Abbeel教授强化学习教程-附59页slides

https://github.com/enggen/DeepMind-Advanced-Deep-Learning-and-Reinforcement-Learning

DeepMind与UCL合作推出的深度学习与强化学习进阶课程

https://mp.weixin.qq.com/s/CnL1uIWef2AjIr_AwL7t-w

DeepMind研究员Tor2019著作《赌博机算法》，555页带你学习专治选择困难症技术

https://zhuanlan.zhihu.com/c_168521441

在线学习(MAB)与强化学习(RL)

https://github.com/p-christ/Deep-Reinforcement-Learning-Algorithms-with-PyTorch

PyTorch实现多种深度强化学习算法

https://mp.weixin.qq.com/s/UrwP9t-Ox4M9QImKDUDcsA

140页《深度强化学习入门》发布

https://simoninithomas.github.io/Deep_reinforcement_learning_Course/

老外写的简易深度强化学习入门

https://mp.weixin.qq.com/s/nSfvhr096aTeOHxDHy0NeA

434页《Python强化学习实用指南》

https://www.starai.io/course/

StarAi的DRL教程

https://mp.weixin.qq.com/s/eMzrktlm93ZEZi-J5sipqA

莫斯科国立大学56页《深度强化学习综述》最新论文，带你全面了解DRL最新方法

https://github.com/dennybritz/reinforcement-learning

GitHub万星资源：强化学习算法实现，教程代码样样全，还有详细学习规划

https://mp.weixin.qq.com/s/LJbpDls06jH5xL3Kbh-eBw

强化学习实践教程

https://mp.weixin.qq.com/s/g4YW6loDqLLBE-vqznh4qQ

《深度强化学习》面试题汇总

https://mp.weixin.qq.com/s/nSZfGdPXXs02dCdG49EQhg

142页”ICML会议”强化学习笔记整理(2018&2019年)

https://mp.weixin.qq.com/s/QZiBPOlp4mlTxIlEbhtgWg

138页“策略优化”PPT–Pieter Abbeel

https://mp.weixin.qq.com/s/kFDITf4-wjPSEsByDinInQ

DeepMind Nando（原牛津大学教授）强化学习最新进展，含图文、公式和代码，附102页PPT下载

https://mp.weixin.qq.com/s/cobadH9PXJFfSuMlY6GWiA

强化学习理论与算法，83页pdf，了解最新进展

https://paperswithcode.com/area/playing-games

从Paper到Coding, 一览深度强化学习挑战34类游戏

https://mp.weixin.qq.com/s/-vqX0PHOsDNbj2NX_cR2qg

微软首席研究员Katja Hofmann-强化学习：过去、现在和未来展望，附97页ppt

https://mp.weixin.qq.com/s/Yg_bFykE8zsG2–mBGYS5A

DeepMind出品：深度学习与强化学习教程 850页ppt

https://mp.weixin.qq.com/s/fLeHW6Asem4f2aP1ARHNZg

FaceBook280页PPT解决DeepRL的”探索-利用(Exploration-Exploitation)”难题

https://mp.weixin.qq.com/s/R2FTKZvebR0gbxM8h60oog

《强化学习—使用Open AI、TensorFlow和Keras实现》174页pdf

https://mp.weixin.qq.com/s/mZSOmlHRrowPcTKjnlB4wA

深度强化学习实战，351页pdf，Deep Reinforcement Learning

https://github.com/zhoubolei/introRL

港中文周博磊：强化学习纲要

https://mp.weixin.qq.com/s/e-xGWG1qWb_zuyorvhZpJA

John Schulman总结深度强化学习理论、模型及编码调参技巧

https://mp.weixin.qq.com/s/YTiNTQzRs7VkhEfiER5C3g

最新《深度强化学习》教程，165页ppt与视频，Mila Doina Precup

https://mp.weixin.qq.com/s/vHFLhlftGstuMcN8fswO5w

基于模型的强化学习方法教程，279页ppt

https://mp.weixin.qq.com/s/heFN7QU5uFTDLZytXgUrkw

强化学习教程，83页ppt

https://mp.weixin.qq.com/s/1b9rTD6wEgA0U54WNr7YAQ

机器人深度强化学习，128页pdf

https://mp.weixin.qq.com/s/1oy21VNupI1mZADY9KoyKQ

强化学习中基于模型的方法，279页ppt

https://mp.weixin.qq.com/s/2h_0gZBXMUWS3JG7lrfUNQ

MIT科学家Dimitri P. Bertsekas最新《强化学习与最优控制》2021ASU课程

https://amfarahmand.github.io/IntroRL/

强化学习导论：多伦多大学2021课程

https://datawhalechina.github.io/easy-rl/

Easy-RL

https://mp.weixin.qq.com/s/I2lnd1x3iYoFYgxTJn7bYQ

清华大学李升波老师《强化学习与控制》，附课件

https://deepreinforcementlearningbook.org/

《深度强化学习：基础、研究与应用（Deep Reinforcement Learning: Foundamentals, Research and Applications）》北京大学董豪博士等著。

《A Brief Survey of Deep Reinforcement Learning》

《Asynchronous Methods for Deep Reinforcement Learning》

《Deep Reinforcement Learning for Dialogue Generation》

https://zhuanlan.zhihu.com/sharerl

强化学习知识大讲堂

https://zhuanlan.zhihu.com/intelligentunit

一个DL+RL的专栏

https://www.cnblogs.com/pinard/category/1254674.html

一个DRL的专栏

https://www.cnblogs.com/steven-yang/tag/强化学习/

一个RL的专栏

https://blog.csdn.net/gsww404

一个DRL的专栏

https://zhuanlan.zhihu.com/c_1121374124756480000

一个DRL的专栏

https://github.com/NeuronDance/DeepRL

一个DRL的专栏

https://zhuanlan.zhihu.com/mlexplained

一个RL的专栏

https://github.com/Skylark0924/Reinforcement-Learning-in-Robotics

一个机器人RL的专栏

https://www.zhihu.com/column/c_1264765462367621120

一个RL的专栏

https://github.com/seungjaeryanlee/awesome-rl-competitions

深度强化学习赛事汇总

工具/框架

https://www.zhihu.com/question/377263715

目前最好用的大规模强化学习算法训练库是什么？

https://mp.weixin.qq.com/s/5ScRIl2MHNGaUyIEJJKnKw

DeepMind开源强化学习研究环境Control Suite

https://mp.weixin.qq.com/s/GTjNToprM2OO7uzSRQXkHw

DeepMind开源强化学习库TRFL，关键算法可编写RL智能体

https://mp.weixin.qq.com/s/PLFxehTAXcehzIrIMRfVpA

强化学习的基石：DeepMind开源框架TRFL

https://mp.weixin.qq.com/s/ew7vmvskp_q4aM7cJM-CXg

夺魁NeurIPS 2018强化学习大赛，百度正式发布RL模型库和算法框架PARL

https://github.com/danaugrs/huskarl

基于TF2.0的深度强化学习平台：Huskarl