机器之心报道

机器之心编辑部

由于太受欢迎，这本书先后出版了英文、中文简体和中文繁体三个版本。其覆盖内容的范围之广令帝国理工学院教授、香港浸会大学副校长郭毅可印象深刻。如今，这本书的中文简体版正式开放下载。

得益于 DeepMind AlphaGo 和 OpenAI Five 成功的案例，深度强化学习受到大量的关注，相关技术广泛应用于不同的领域。但是，对于一名学习者来说，市面上很少有书籍或者教程能同时覆盖从「0 到 1」和「从 1 到 N」的深度强化学习内容，学习材料非常零散。

为了克服这一难题，北京大学前沿计算研究中心助理教授董豪博士等编写了一本名为《Deep Reinforcement Learning: Foundamentals, Research and Applications》的英文书籍。该书于 2020 年 6 月由 Springer 发行，纸质版和电子版销售量都很大，电子版本下载量已经超过了 8 万册。

由于反响比较热烈，作者团队建立了读者交流群，很多读者都表示希望能有中文（简体）版本，还有港台地区的同学反映希望能有繁体字版本。因此，他们就把书翻译成了中文简体和繁体，并于 2021 年 6 月和 2022 年 1 月发行。其中，中文简体第一版一经发行已售罄，现已发行第二版。

为什么这本书如此受欢迎？我们先来看一下它的内容。

整本书共分为三个部分，覆盖了学习深度强化学习所需的所有内容。

第一部分（基础部分）介绍了强化学习的基础知识、常用的深度强化学习算法及其实现方法：

第二部分对精选的深度强化学习研究方向展开介绍，这对希望开展相关研究的读者非常有意义。

为了帮助读者更加深入地理解深度强化学习细节并把相关技术应用到实际中，第三部分仔细地讲述了大量应用的实现细节，例如机器人学习跑步、机械臂控制、下围棋、多智能体平台等等，并提供相关的开源代码。

可以看到，无论你是计算机科学专业背景、希望从零开始学习深度强化学习并开展研究课题和实践项目的学生，还是没有很强的机器学习背景、但是希望快速学习深度强化学习并将其应用到具体产品中的软件工程师，这本书都能帮到你。

帝国理工学院教授、数据科学研究所创始所长、香港浸会大学副校长郭毅可就表示对这本书覆盖内容的范围之广印象深刻，他认为，「这种风格的书籍是对初学者和科研人员绝佳的学习材料。」他还表示，「拥抱开源社区是深度学习得到快速发展不可或缺的一个原因。我很欣慰这本书提供了大量的开源代码。」

北京大学博雅特聘教授、前沿计算研究中心执行主任陈宝权也认为，「这本书提供了可靠的深度强化学习内容介绍，缩小基础理论和实践之间的差距，以提供详细的描述和算法实现为特色，提供大量技巧和速查表。」

当然，这么优秀的书籍离不开一个强大的编撰团队。该书作者团队全部为一线科研人员和开源社区成员，使用深度强化学习解决不同领域的问题。其中，董豪、丁子涵、仉尚航还是编者团队的成员。

《深度强化学习：基础、研究与应用》的作者团队。

董豪是北京大学计算机学院、前沿计算研究中心助理教授，博士生导师。于 2019 年秋获得英国帝国理工学院博士学位。研究方向主要涉及计算机视觉和机器人，目的是降低学习智能系统所需要的数据，实现自主学习。他致力于推广人工智能技术，是深度学习开源框架 TensorLayer 的创始人，并获得 ACM MM 2017 年度最佳开源软件奖。他在英国帝国理工和英国中央兰开夏大学获得一等研究生和一等本科学位。

丁子涵是普林斯顿大学博士。于 2019 年获得英国帝国理工学院硕士学位，曾在加拿大 Borealis AI、腾讯 Robotics X 实验室有过工作经历。本科就读中国科学技术大学，获物理和计算机双学位。研究方向主要涉及强化学习、机器人控制、计算机视觉等。在 ICRA, IROS, NeurIPS, AAAI, IJCAI, Physical Review 等顶级期刊与会议发表多篇论文，是 TensorLayer-RLzoo、TensorLet 和 Arena 等开源代码库的贡献者。

仉尚航是北京大学计算机学院助理教授，博士生导师。于 2018 年博士毕业于美国卡内基梅隆大学，后于 2020 年加入加州大学伯克利分校 BAIR 实验室任博士后研究员。研究方向主要为开放环境泛化机器学习理论与系统，同时在计算机视觉和强化学习方向拥有丰富研究经验。在人工智能顶级期刊和会议上发表论文 30 余篇，并申请 5 项美中专利。获 AAAI'21 最佳论文奖，美国 2018 年度 “EECS Rising Star”，Adobe 学术合作基金，Qualcomm 创新奖提名等。

团队的多样性使得该书风格对不同领域的读者更为友好，并对代码库进行支持和维护。

在谈及该书的写作历程时，该团队表示，「写这本书的工作量是巨大的，作者们的工作和学习都很忙，都是兼职写这本书，而且还有好几个配套的代码库，能够按计划完成已经挺不容易了。因此，我们探索并采用了开源的模式来写作，不过前后也花费了一年多的时间。」

目前，该团队已经开放了该书中文简体版本的下载权限，感兴趣的读者请戳：https://deepreinforcementlearningbook.org/

——The  End——