正如《钢铁是怎样炼成的》并不负责教你炼钢轧钢，本文也不负责教你如何制作蘑菇酱和开淘宝网店！

我们这里所说的“蘑菇书”，不是这本

而是“蘑菇书”（《Easy RL：强化学习教程》）。

好事多磨！

——俗语

我们常常用“好事多磨”来形容做成功一件事情之前要经历很多的波折。其实，好书的出版过程也是多磨的。只有通过不断的过滤，沉淀的内容才更具价值；只有经过精细打磨和炮制，图书才能够以更好的形式呈现给读者。

今天我们来聊聊这本强化学习的好书——“蘑菇书”（《Easy RL：强化学习教程》）是怎样磨成的。

初磨

“有匪君子，如切如磋，如琢如磨。”

《诗经·卫风·淇奥》

知识就是在学子的相互讨论切磋和琢磨中获得的。

中国科学院大学的王琦、清华大学的杨毅远、北京大学的江季都是计算机相关专业的硕士生，也是国内开源团队Datawhale的骨干成员。在通过网络上3位老师的著名的视频公开课学习强化学习的过程中，这3个小伙伴相互切磋，共同磨砺，打造出“Easy RL：强化学习教程”，并且以开源的形式在网上分享，以便让更多的学习者从中受益。没想到，经过“初磨”的教程，在线上发布9个月的时间内，就很快获得了3.3k+的GitHub Star，同时电子版的PDF教程也获得了1w+的下载。

软磨

千磨万击还坚劲，任尔东西南北风。

清郑燮·《竹石》

小编第一时间关注到了“初磨”的“Easy RL：强化学习教程”，并且和Datawhale及作者团队探讨出版正式的印刷版图书的可能。基于此前我们和Datawhale在“南瓜书”的合作上取得的成功，双方很快就达成了共识，可以说是一拍即合。

然而“Easy RL：强化学习教程”本身有很强的特殊性，其内容是基于三门开放的网络课程进行总结、概括和组织的，因此，在正式出版之前，我们必须得到3位视频作者的同意和支持。

这里先隆重介绍一下3门视频课及其讲师。

• 台湾大学李宏毅老师的课程“深度强化学习”幽默风趣，通过很多有趣的例子来讲解强化学习理论。

比如他经常会用玩雅达利游戏的例子来讲解强化学习算法，这让晦涩难懂的强化学习理论变得通俗易懂，从而吸引了很多人把李宏毅老师的公开课当作入门教程。

• 加州大学洛杉矶分校（UCLA）的周博磊老师（周老师是从香港中文大学转入UCLA的，他的动向曾经在业界引起广泛关注）的课程“强化学习纲要”理论严谨、内容丰富，全面介绍了强化学习领域，并且有相关的代码实践。

• 百度飞桨强化学习PARL团队核心成员、百度高级研发工程师李科浇老师的课“世界冠军带你从零实践强化学习”实战性强，通过大量的代码讲解强化学习。

李科浇老师所在团队曾两度夺得神经信息处理系统大会（NeurIPS）强化学习赛事的冠军。

摆在我们面前最“磨人”的问题是，如何才能得到三位老师对于出版纸介质图书的认同呢？

小编采取了“软磨”硬泡的办法，和每一位老师进行邮件沟通。三位老师分享开放课程的初衷，都是为了帮助初学者更好地掌握强化学习的知识和技术，而三位老师的课程，各具特色又具有很好的互补性。开源教程的3位作者总结自己学习的心得体会，广大读者对于开源书的认同，都很好地证明了这一点。经过多次积极的联系和详细地沟通，三位老师一致认为正式出版纸介质的图书是一件好事，并表示全力支持。

得到3位老师邮件确认的那一刻，小编的心里真是美开了花儿——一本好书，经过“软磨”终于有可能出版了！

细磨

王子猷出都，尚在渚下。旧闻桓子野善吹笛，而不相识。遇桓于岸上过，王在船中，客有识之者，云是桓子野。王便令人与相闻，云：“闻君善吹笛，试为我一奏。”桓时已贵显，素闻王名，即便回下车，踞胡床，为作三调。弄毕，便上车去。客主不交一言。

——《世说新语》

开源书和正式出版物之间，还存在很大很大差距，需要经过精细的打磨，最终达到图书出版的要求。

东晋桓伊“为作三调”的，就是历史上著名的“梅花三弄”。《Easy RL：强化学习教程》从开源教程到正式出版，过程并不Easy，经过了“蘑菇三磨”。

一磨作者——3位作者结合自己的学习经历，再次进行了推敲和重演，甚至对章节结构和顺序做了较大的调整。3位作者还进一步结合自己求学面试的经验，将强化学习过程中的知识要点和难点，提炼成习题和面试题，在图书中分享，帮助读者做到学以致用。

二磨编辑——出版社安排了“南瓜书”的编辑团队来负责“蘑菇书”的出版。编辑团队进行准备并通过了重点选题的答辩，确保入选了重点选题。在编辑过程中，尽最大的努力确保内容的技术权威性、规范性和文字的通顺易读。在营销过程中，考虑到读者可能关注的每一个细节。

三磨营销——市场部和营销团队在图书策划和生产的过程就介入，和Datawhale团队一起，从“蘑菇书”昵称的确定到封面设计的风格，都全方位参与并给出意见，制定了详细的营销计划，准备了充足的KOL评阅样书，确保每个环节的营销动作都在准确执行到位。

琢磨

只要功夫深，铁杵磨成针！

读者需要什么？我们能提供什么服务？这是我们不断琢磨和永远思考的问题。

作者和编辑团队，拿出铁杵磨针的功夫，为读者量身打磨了如下这些服务：

• 提供强化学习的实现源代码。

• 给出习题和面试题的答案。

• 每次重印都及时发布勘误并修改错误（感谢微软亚洲工程院的胡晓武老师，以及其他读者的关心和帮助）。

• 三位作者网络直播介绍强化学习的学习过程和经验。

• 强化学习组队学习计划——采蘑菇教程。（从Datawhale 7月学习计划开始发布并迭代，参见七月组队学习计划！）。

• “蘑菇书”网络视频和飞桨实现教程（正在开发中，后续将在百度AI Studio发布，感谢百度飞桨团队的支持）。

当然，我们还欠读者一次最具吸引力的美好约会——那就是“三师三友”（李宏毅老师、周博磊老师、李科浇老师、王琦、杨毅远、江季）的直播访谈！这是一次值的期待的精英聚会，预计会在2022年秋季促成，敬请期待！

结语

“蘑菇书”的三位老师和三位作者的出发点是为了读者，Datawhale的开源理念是为了读者，出版社的宗旨更是为了读者！正是这三位一体的高度重合，让我们走到了一起。

当“蘑菇书”终于能够呈现在所有人眼前的时候，小编按奈不住内心的兴奋，吟诗一首

三师三校三友著

深入宝山采蘑菇

为继共学做晚厨

RL 自此无难处

“三师”中的李科浇老师是一位才女，当她看到小编的这首歪诗时，反应奇快地续上了下面两句，非常准确地道出了“蘑菇书”所有参与者的初心！

愿为RL铺前路，添砖加瓦筑学屋！

是的。不忘初心，踔厉奋发！

我们认认真真地做书，助你在知识的宝山里尽情采“蘑菇”，愿你采得繁星数不清，采得小伞装满筐！