说起俞勇，想必大家都不陌生。

北有清华姚班，南有上海交大ACM班。

作为“上海交大ACM班总教头”，2002年，他带领学生为亚洲首次夺得ACM国际大学生程序设计竞赛世界冠军，短短8年就斩获三次世界总冠军。而且他创办的中国第一个计算机特长班“上海交大ACM班”，成为了中国AI人才界名副其实的“黄埔军校”。

大家熟悉的《动手学深度学习》作者、亚马逊资深首席科学家的李沐；

曾提出火爆机器学习社区的XGBoost 算法，如今是卡耐基梅隆大学助理教授的陈天奇；

因在NLP领域的卓越成就，入选2020年“福布斯30位30岁以下科学精英榜”佐治亚理工学院的助理教授杨笛一；

还有前字节跳动人工智能实验室总监李磊、第四范式创始人戴文渊、美国宾州州立大学终身教授黎珍辉等一大批计算机界的牛人，都是在俞勇教授的课堂中成长的。

培养中国的计算机科学家，是俞勇教授一直以来的目标，他还有一个憧憬，便是期望有一天他的学生能够获得图灵奖。

为此，他为ACM班请了最好的老师；开设了一系列前沿且创新的课程，诸如强化学习课程等；邀请IT界大咖开展交流分享会。除此之外，俞勇还想打破教育资源不平衡的壁垒，为中国培养更多的IT人才，于是，俞勇教授创立了伯禹教育。

“让最优秀的人工智能学习资源走出顶尖高校实验室，用科学的态度做教育，从企业的需求育人才”

这是俞勇教授的坚守。

同样地，今天，给大家带来的这本来自俞勇教授团队的《动手学强化学习》，也有异曲同工之妙——让优秀的强化学习教材走出ACM班，分享给每一位求学者。

▲可在京东、当当购买《动手学强化学习》

— 01 —

源自上海交通大学ACM班强化学习课程

在俞勇教授看来：

如今，在成熟的人工智能技术基础上，服务于决策智能的技术变得越来越重要，这背后对应机器学习领域下的一个分支——强化学习。

目前强化学习技术已经在机器人控制、游戏智能、智慧城市、推荐系统、能源优化等领域得到广泛应用，发展前景广阔，业界对强化学习人才的需求量也与日俱增。

但是，强化学习的普及教育较为滞后，不少高校仍未开设强化学习课程，学生迫切需要一条系统学习强化学习技术的专业路径。

那怎么办呢？

这本源自上海交通大学强化学习课程的《动手学强化学习》给了我们答案。

● 想学习的学生可以通过这本书中提供的一条自学捷径，成功入门强化学习领域。

● 高校教师也可以将这本书作为教材，开设强化学习课程。

● 程序员可以通过这本书中的理论和实战，落地强化学习。

毕竟，这真的是一本受到了多位专家教授检阅，还在上海交通大学中教学实践过的教材！

书籍作者之一张伟楠副教授在上海交通大学致远学院、电子信息与电气工程学院为大三本科生开设了强化学习课程，占 2个学分。

在 2021 年春季上海交通大学致远学院 ACM 班的强化学习课程中，作者团队尝试以在线Python Notebook 的形式为学生提供课程辅助材料和代码小作业。

在 2021 年秋季电子信息与电气工程学院AI 专业的强化学习课程中，作者团队通过在线平台向学生完全公开了学习材料，并以“动手学强化学习”作为主要的课后学习形式，这种形式获得了学生更加积极的反馈。

基于在强化学习研究和教学中的经验，俞勇团队写作了这本《动手学强化学习》。他们的初衷更是为了探索一种更好的强化学习教学方式，为我国强化学习的人才培养贡献一份力量。

多么无私的想法啊！

— 02 —

理论+公式推导+实战+视频等丰富资源，

手把手带你入门！

俞勇团队结合多年编程教育、强化学习经验以及学生反馈，打造了这本强化学习入门佳作，从“基础”“进阶”“前沿”“展望”四个方面着手，让读者不仅能掌握强化学习的理论知识，更能掌握真正运用强化学习的能力。

令小异最惊喜的是，这本书的主要特点有四点，而这四点又正好是我们自学强化学习最好的四大步骤！

俞勇教授真不愧是“国家级教学名师”啊！

对于书籍内容和结构的安排太赞啦！

（1）注重理论基础，兼顾公式推导

首先，这本书不仅注重理论基础，还兼顾了公式推导。

这本书主要包含 3 个部分内容：

● 第一部分为强化学习基础，讲解强化学习的基础概念和表格型强化学习方法；

● 第二部分为强化学习进阶，讨论深度强化学习的思维方式、深度价值函数和深度策略学习方法；

● 第三部分为强化学习前沿，介绍学术界在深度强化学习领域的主要关注方向和前沿算法。

小异拿到这本书的时候都惊呆了！

要知道，现在市面上的强化学习教材是无法在把理论知识通俗易懂地讲解出来的同时，做到把公式也一步步推导出来的。许多教材是先出“入门版”，再配套出“公式推导版”。

可能，有刚刚入门的小伙伴会有疑惑：

“我这才刚入门，打好理论基础不应该才是最重要的事情吗？哪有那么多精力弄公式推导？”

怎么说呢，你刚刚入门时是应该重点关注理论基础，毕竟“基础不牢，地动山摇”，但是，当你学得越来越深入，公式推导的重要性越发重要。

一来，要想掌握理论背后的物理、数学含义，你需要进行公式推导；

二来，要想知道某种理论的适用范围，你需要通过公式推导；

三来，要想对比不同算法的优越性，对比不同模型的适配度，你需要对底层公式推导有着清晰的认识。

最后，但是特别重要的一点，要想熟练编写代码和理解算法，你需要深入公式推导，毕竟这是写代码的目的所在。

小异记得有一个段子是这样说的：“理论再好，代码难搞。公式推导，明年博导！！！”

虽然有些搞笑，但是说的还是在理的。

给你看个这本书的公式推导过程，这步骤清晰得让新手完全不同经历那种“公式不知道用在哪里，公式不知道怎么推导出来的“抓狂体验：

一本让理论基础和公式推导相辅相成，让你入门更加轻松的书籍，不香吗？

（2）注释清晰，再也不怕算法，代码实战落地性极强！

对于初学者而言，强化学习一难在理论，二难在代码实战。

而这本书开始就为你解决了理论基础和公式推导的难题，接下来的代码难关也为你提供了解决之道。

在ACM 班的强化学习课程中，作者们尝试以在线 Python Notebook 的形式为学生提供课程辅助材料和代码小作业。对于一个强化学习主题单元，他们将原理讲解部分（包括配图和公式）与对应的代码实践部分耦合，使学生在学习完一个原理知识点后能立即以代码实践的形式学习其实现方式。

更重要的是，这样的代码块可以直接在线运行和修改，也就是说学生可以在一个 Notebook 里完成对一个强化学习主题单元的原理学习和代码实践。

从上海交通大学的学生的反馈来看，这样的学习方式能帮助他们更好地将理论知识点和实践能力点对应，也能帮助老师更高效地授课、布置和批改作业。

所以，这本书就沿用了这种方法。理论与实践并重，提供配套的线上代码实践平台，通过展示源码的编写和运行过程，让读者进一步掌握强化学习算法的运行机制，帮助读者通过实践加深对理论的理解。

书中提供的代码都是基于 Python 3 编写的，此外，考虑到目前 PyTorch 机器学习框架比较受欢迎，本书中的代码在涉及自动求导时皆使用 PyTorch 框架实现。

每一章的内容都提供了Jupyter Notebook链接，可以在线直接运行。每一份示例代码中都包含可以由读者自行设置的变量，方便读者进行修改并观察相应的结果，从而加深对算法的理解。

书中的一些关键代码都有相应注释，特别适合那些对编程很吃力的初学者。

一本落地性强，让你无惧代码的实战书，不想收入囊中吗？

（3）视频网课、配套丰富资源，让你做资源最多的强化学习者！

对于自学一种新技术，我们要么是通过购买一本入门教材，要么是到网上寻找大师视频课程进行学习。

而这本书，就提供了一种兼顾教材和网课的学习方法，能让你系统地学习强化学习。这也是它的最大优势之一。

作者团队为这本书录制了在线视频，读者可扫描书中的二维码进行学习，也可在网站（https://www.boyuai.com/elites/course/xVqhU42F5IDky94x）中进行学习。

每一章节课程结束之后，都会提供课后练习，帮助你消化所学知识。

你可以在讨论区提问，作者团队会在线答疑，避免学习的迷茫期。

点击图片查看大图

提供配套课件，教师可以采用其进行授课，特别方便。

点击图片查看大图

一本追求卓越，最全面满足初学者需求的强化学习百宝书，不心动吗？

心动不如行动，正如这本书的书名说的那样，快去拥有这本书，开始动手学强化学习吧！

▲可在京东、当当购买《动手学强化学习》

文章编辑：罗梦婷   审校：桐希、刘雅思

参考来源：

①《动手学强化学习》前言、推荐语、第一章、第二章