《Easy RL：强化学习教程》出版了！文末送书

2022 年 4 月 5 日 夕小瑶的卖萌屋

作为人工智能里最受关注的领域之一，强化学习的热度一直居高不下，但它的学习难度也同样不低。

在学习强化学习的过程中，遇到了有无数资料却难以入门的问题，于是发起了Datawhale强化学习项目，希望自学的同时帮助更多学习者轻松入门。

"蘑菇书"萃取李宏毅的深度强化学习等经典课程，结合学习者角度的理解与分析，发布9个月，就在GitHub获得3.3k+Star和1w+下载，也有幸得到李宏毅、周博磊、李科浇等大咖老师的推荐。现在，在人民邮电出版社的支持下，终于发布了第一版纸质书。

一、从开源到出版

从李沐开源的《动手学深度学习》，邱锡鹏的《神经网络与深度学习》，再到Datawhale的《南瓜书》、《Easy RL：强化学习教程》出版，让知识回归大众，让大众有机会和行业精英一样为社会做出贡献，是Datawhale开源内容的探索性意义。

从开源到出版，带来的收入其实不高，但让开源贡献者被大众认可是促使开源良性循环的重要一环，会促使国内的开源氛围变好，让更多人受益。

这本书结合了强化学习领域公开课的精华

来自中科院、清华、北大的三位发起者通过自学这3门公开课，根据自身的理解整理优化得来了《Easy RL：强化学习教程》，并且获得了三位公开课老师的支持。

这是一本完全根据学习经历编著而成的书

也就是说，这本书完全从读者学习的角度出发，既有学霸学长在学习中的重点——3门公开课的精华内容，还有学霸凝练的精华和扩展的内容——作者们在大部分章末设置了原创的关键词、习题和面试题，并提供Python代码实现。帮助初学者避“坑”，用轻松的步伐入门强化学习。其实，每个人在学习一门新的课程时，都会有自己独特的经验和方法，这种经验和方法的共享非常难能可贵。

二、感谢老师们的鼓励和支持

感谢李宏毅、周博磊、李科浇、汪军、张伟楠、李升波、胡裕靖 7位强化学习领域大咖老师的亲笔认可和推荐。

在认识本书编著者之前，我就已经在网络上注意到他们的教程“Easy-RL”，因为“Easy-RL”有部分内容改编自我在台湾大学开授的“深度强化学习”上课视频。当第一次看到“Easy-RL”时，我的第一个想法是：这群人把强化学习的知识整理得真好，不仅有理论说明，还加上了程序实例，同学们以后可以直接读这套教程，这样我上课也就不用再讲强化学习的部分了。很高兴王琦、杨毅远、江季三位编著者能够把“Easy-RL”以图书的形式出版。

——李宏毅台湾大学副教授

很欣喜三位编著者能整合和升华我与另外两位老师的强化学习公开课资料，编著出这本实用的强化学习入门教程。这本教程专注于强化学习理论与实践相结合，通过生动的例子和动手实践帮助读者深入理解各种算法。以强化学习为代表的机器智能决策是人工智能的重要方向之一，希望未来更多优秀的同学可以通过这本教程和强化学习的公开课，开启自己的研究之旅，实现类似于AlphaGo系列的开创性工作。

——周博磊，加利福尼亚大学洛杉矶分校(UCLA)

助理教授

还记得我当初自学强化学习的时候，中文资料少之又少，只能去啃国外的教材和论文；后来开设“世界冠军带你从零实践强化学习”这门公开课，也是期望可以为强化学习中文社区添砖加瓦；所以很开心国内的学生能自发地形成这种公开的、系统的强化学习中文入门课程笔记的整理、分享与社区讨论的氛围。看了“Easy-RL”仓库以及编著者发来的这本书第1章的内容，我发现这本书不仅是一个笔记合集，编著者有重点地梳理了理论，并配备了难度适中的习题实践和面试题供读者参考。我相信这本书的出版对于刚接触强化学习的学生，以及准备转行的在职人员都会有帮助。非常推荐强化学习初学者阅读它。

——李科浇，飞桨强化学习PARL团队核心成员

百度高级研发工程师

王琦、杨毅远和江季三位年轻作者，从自身学习和实践的角度将他们对强化学习基础内容的理解加以汇总，并完善成一本初学者之间交流、互动以及应用强化学习的实战图书。三位年轻作者在开源平台中多次迭代内容，和读者共同建立起了一套化繁为简的、浅显易懂的强化学习思维架构，这种做法很值得借鉴。目前，强化学习还处于高速发展期，正是年轻人施展拳脚的好赛道。这本书为强化学习的初学者和爱好者提供了一份难得的、可快速入门的学习和研究资料，相信读者会从这本书中得到课堂之外、实用之内和兴趣之中的前沿学术成果的应用知识。

——汪军，伦敦大学学院（UCL）计算机科学系教授

近年来，国内的学习者对于强化学习的热情日渐高涨，但是目前缺少一本适合初学者自学的书。这本书正好弥补了这一空白。由于三位编著者都是开源社区Datawhale 的成员，在这本书开源过程中得到了学习者的反馈，因此这本书更能从学习者的视角行文。全书以简洁的语言介绍强化学习的基础知识以及深度强化学习的内容，让初学者能够以轻快的步伐入门强化学习。

——张伟楠，上海交通大学计算机科学与工程系

副教授、博士生导师

强化学习是人工智能的一个重要研究领域，具有潜在的巨大应用价值。以 Al- phaZero 为代表的围棋智能突破，也从侧面证明了其解决复杂高维问题的能力。然而强化学习的应用尚处于起步阶段，它既有理论学习的复杂度，又有工程实践的挑战性，导致初学者难以入门，更难以深入。这本书以生动形象的语言、深入浅出的逻辑，介绍了一系列基本的强化学习算法，并结合丰富有趣的经典案例讲解代码实践，为强化学习初学者提供了一套可快速上手的学习资料。

——李升波，清华大学车辆与运载学院

长聘教授、博士生导师

《Easy RL：强化学习教程》一书很好地整合了强化学习的基础知识、经典算法、前沿方向和尖端技术解读，填补了国内在这方面的空白，完全可以作为中文强化学习教材。初学者通过阅读这本书可以全方位地了解强化学习，而强化学习研究者也可以从这本书中获得灵感和新的收获。三位编著者并没有用艰深晦涩的语言去描述强化学习，而是从自己的学习心得出发，将自己的学习笔记凝结成这几十万字的精华，娓娓道来，让人手不释卷。整本书的章节安排非常合理，前后章节环环相扣，既包含初学者必须掌握的关键知识点，也包含强化学习的前沿技术动态，展现出强化学习清晰的发展脉络。感谢这本书的三位编著者奉献出自己宝贵的学习经验和知识结晶，相信未来会有很多优秀的同学因为这本书投身于强化学习的研究热潮中。

——胡裕靖，网易伏羲强化学习研究组负责人