邹伟博士出书啦!——《强化学习》从基础概念、核心原理到应用案例(文末赠书)...
强化学习日渐流行,作为当今社会最热门的研究课题之一,其关注度正与日俱增。强化学习是机器学习的一个分支,通过与环境的交互进行学习,目前广泛应用于游戏领域,如ATARI游戏、西洋双陆棋、AlphaZero等。由于它具有自学习的特性,因此在机器人、工业自动化、自然语言处理、医疗保健及在线股票交易等领域受到了广泛重视,并取得了众多成果。
强化学习是一门实践性很强的学科,同时也具有坚实的理论基础。本书紧扣读者需求,采用循序渐进的叙述方式,深入浅出地论述了强化学习的背景、算法原理、应用案例等; 此外,本书针对每一章节的算法均提供了对应的案例和程序源代码,并附有详细的注释,有助于读者加深对强化学习相关知识的理解。
通过本书,读者可以从零起步了解并掌握强化学习算法,并且能够快速选择合适的算法去解决实际问题。更进一步,通过学习本书,读者能够丰富对人类自身的认识,并启发对人机智能之争更深一层的思考与探索。
图书介绍视频
00
作者简介
邹伟 博士,睿客邦创始人,研究方向为机器学习、数据挖掘、计算几何,致力于机器学习和深度学习在实际中的应用;主持研发50多个人工智能领域工业级项目,并受邀在中国移动、花旗银行、中信集团、中航信、烽火科技、京东方、完美世界等公司进行了上百场讲座和内部培训。创立的睿客邦与国内十多所高校建立了AI联合实验室或实训基地;兼任天津大学创业导师、山东交通学院客座教授等。曾在多个在线平台讲授“机器学习”“深度学习”等课程,广受网友好评,累计学习人数超过百万。
鬲玲 硕士,资深研发工程师,研究方向为知识工程、语义检索、强化学习、自然语言处理。作为牵头单位技术负责人,参与并完成国家科技支撑计划项目1项,863计划项目1项。有多年知识管理系统以及自然语言处理项目研发经验,目前正致力于垂直领域知识图谱的落地以及强化学习在自然语言处理领域的应用。
刘昱杓 深度学习、强化学习研发工程师,研究方向为计算机视觉。有多年深度学习视觉方向开发经验,参与了多个图像识别、目标检测、目标追踪等领域的落地项目。目前专注于深度强化学习方向的研究。
01
本书内容
《强化学习》一书内容系统全面,覆盖面广,既有理论阐述、公式推导,又有丰富的典型案例,理论联系实际。书中全面系统地描述了强化学习的起源、背景和分类,各类强化学习算法的原理、实现方式以及各算法间的关系,为读者构建了一个完整的强化学习知识体系;同时包含丰富的经典案例,如各类迷宫寻宝、飞翔小鸟、扑克牌、小车爬山、倒立摆、钟摆、多臂赌博机、五子棋、AlphaGo、AlphaGo Zero、AlphaZero等,通过给出它们对应的详细案例说明和代码描述,让读者深度理解各类强化学习算法的精髓。《强化学习》案例生动形象,描述深入浅出,代码简洁易懂,注释详细。
《强化学习》可作为高等院校计算机、自动化及相关专业的本科生或研究生教材,也可供对强化学习感兴趣的研究人员和工程技术人员阅读参考。
涉及主题
马尔可夫决策过程
动态规划
蒙特卡罗
时序差分
资格迹
值函数逼近
随机策略梯度
Actor-Critic及变种
确定性策略梯度
学习与规划
探索与利用
02
图书目录
第1章强化学习概述
1.1强化学习的背景
1.2强化学习初探
1.2.1智能体和环境
1.2.2智能体主要组成
1.2.3强化学习、监督学习、非监督学习
1.2.4强化学习分类
1.2.5研究方法
1.2.6发展历程
1.3强化学习的重点概念
1.3.1学习与规划
1.3.2探索与利用
1.3.3预测与控制
1.4小结
1.5习题
第2章马尔可夫决策过程
2.1马尔可夫基本概念
2.1.1马尔可夫性
2.1.2马尔可夫过程
2.1.3马尔可夫决策过程
2.2贝尔曼方程
2.2.1贝尔曼期望方程
2.2.2贝尔曼最优方程
2.3最优策略
2.3.1最优策略定义
2.3.2求解最优策略
2.4小结
2.5习题
第3章动态规划
3.1动态规划简介
3.2策略评估
3.3策略改进
3.4策略迭代
3.5值迭代
3.6实例讲解
3.6.1“找宝藏”环境描述
3.6.2策略迭代
3.6.3值迭代
3.6.4实例小结
3.7小结
3.8习题
第4章蒙特卡罗
4.1蒙特卡罗简介
4.2蒙特卡罗评估
4.3蒙特卡罗控制
4.4在线策略蒙特卡罗
4.5离线策略蒙特卡罗
4.5.1重要性采样离线策略蒙特卡罗
4.5.2加权重要性采样离线策略蒙特卡罗
4.6实例讲解
4.6.1“十点半”游戏
4.6.2在线策略蒙特卡罗
4.6.3离线策略蒙特卡罗
4.6.4实例小结
4.7小结
4.8习题
第5章时序差分
5.1时序差分简介
5.2三种方法的性质对比
5.3Sarsa:在线策略TD
5.4Q-learning:离线策略TD方法
5.5实例讲解
5.5.1迷宫寻宝
5.5.2Sarsa方法
5.5.3Q-learning方法
5.5.4实例小结
5.6小结
5.7习题
第6章资格迹
6.1资格迹简介
6.2多步TD评估
6.3前向算法
6.4后向算法
6.5前向算法与后向算法的统一
6.6Sarsa(λ)方法
6.6.1前向Sarsa(λ)方法
6.6.2后向Sarsa(λ)方法
6.7Q (λ)方法
6.7.1前向Watkinss Q(λ)方法
6.7.2后向Watkinss Q(λ)方法
*6.7.3Pengs Q(λ)方法
6.8实例讲解
6.8.1风格子世界
6.8.2后向Sarsa(λ)
6.8.3后向Q(λ)
6.8.4实例小结
6.9小结
6.10习题
第7章值函数逼近
7.1值函数逼近简介
7.2线性逼近
7.2.1增量法
7.2.2批量法
7.3非线性逼近
7.3.1DQN方法
7.3.2Double DQN方法
7.3.3Dueling DQN方法
7.4实例讲解
7.4.1游戏简介
7.4.2环境描述
7.4.3算法详情
7.4.4核心代码
7.5小结
7.6习题
第8章随机策略梯度
8.1随机策略梯度简介
8.1.1策略梯度优缺点
8.1.2策略梯度方法分类
8.2随机策略梯度定理及证明
8.2.1随机策略梯度定理
*8.2.2随机策略梯度定理证明
8.3蒙特卡罗策略梯度
8.3.1REINFORCE方法
8.3.2带基线的REINFORCE方法
8.4TRPO方法
8.5实例讲解
8.5.1游戏简介及环境描述
8.5.2算法详情
8.5.3核心代码
8.6小结
8.7习题
第9章Actor-Critic及变种
9.1AC方法
9.1.1在线策略AC方法
9.1.2离线策略AC方法
9.1.3兼容性近似函数定理
9.2A2C方法
9.3A3C方法
9.3.1简介
9.3.2异步Q-learning方法
9.3.3异步Sarsa方法
9.3.4异步n步Q-learning方法
9.3.5A3C方法详述
9.4实例讲解
9.4.1AC实例
9.4.2A3C实例
9.5小结
9.6习题
第10章确定性策略梯度
10.1确定性策略梯度及证明
10.1.1确定性策略梯度定理
*10.1.2确定性策略梯度定理证明
10.2DPG方法
10.2.1在线策略确定性AC方法
10.2.2离线策略确定性AC
10.2.3兼容性近似函数定理
10.3DDPG方法
10.3.1DDPG简介
10.3.2算法要点
10.3.3算法流程
10.4实例讲解
10.4.1游戏简介及环境描述
10.4.2算法详情
10.4.3核心代码
10.5小结
10.6习题
第11章学习与规划
11.1有模型方法和无模型方法
11.2模型拟合
11.2.1模型数学表示
11.2.2监督式学习构建模型
11.2.3利用模型进行规划
11.3Dyna框架及相关算法
11.3.1Dyna-Q
11.3.2Dyna-Q+
11.3.3优先级扫描的Dyna-Q
11.4Dyna-2
11.5实例讲解
11.5.1游戏简介及环境描述
11.5.2算法详情
11.5.3核心代码
11.6小结
11.7习题
第12章探索与利用
12.1探索-利用困境
12.2多臂赌博机问题
12.3朴素探索
12.4乐观初始值估计
12.5置信区间上界
12.6概率匹配
12.7信息价值
12.8实例讲解
12.8.1游戏简介及环境描述
12.8.2算法详情
12.8.3核心代码
12.9小结
12.10习题
第13章博弈强化学习
13.1博弈及博弈树
13.2极大极小搜索
13.3Alpha-Beta搜索
13.4蒙特卡罗树搜索
13.5AlphaGo
13.5.1监督学习策略网络pσ
13.5.2快速走子策略网络pπ
13.5.3强化学习策略网络pρ
13.5.4价值网络vθ
13.5.5蒙特卡罗树搜索
13.5.6总结
13.6AlphaGo Zero
13.6.1下棋原理
13.6.2网络结构
13.6.3蒙特卡罗树搜索
13.6.4总结
13.7AlphaZero
13.8实例讲解
13.8.1游戏简介及环境描述
13.8.2算法流程描述
13.8.3算法细节
13.8.4核心代码
13.9小结
13.10习题
参考文献
03
编辑推荐
内容由浅入深
为了让读者快速理解和应用强化学习技术,本书深入分析了相关算法的具体实现,由浅入深,循序渐进,内容丰富,易学实用
作者具有丰富的行业实践经验
使得内容兼具理论性与实用性,不仅给出了算法的运行流程,还给出了该类算法的应用案例
强化学习算法案例
书中列举了近20个强化学习算法案例,可以帮助读者快速提升能力
配套资源
程序代码,教学课件,习题答案
04
教学资源
本书提供配套教学课件等资源,可以关注「人工智能科学与技术」公众号,在对话框界面输入“教学大纲”、“教学课件”、“程序代码”、“学习素材”可以免费获取对应资源。
05
图书赠送
本次为大家带来5本正版新书。快来发表你的评论,5月31日23点前,评论点赞数前2名的读者将获赠正版图书5本!!!
06
图书详情
扫码可以观看《强化学习》京东详情页面。
AI学习相伴,你「在看」吗↓
邹伟博士出书啦!——《强化学习》从基础概念、核心原理到应用案例(文末赠书)...相关推荐
- 漫谈深度强化学习之基础概念
漫谈深度强化学习之基础概念 原创: 张泽旺 深度学习每日摘要 2017-02-23 当下,深度强化学习(Deep Reinforcement Learning)的应用已经铺天盖地般出现了.为什么 ...
- 学习操作系统的必备教科书《操作系统:原理与实现》| 文末赠书4本
使用了6年的实时操作系统,是时候梳理一下它的知识点了 摘要: 本文简单介绍了博主学习操作系统的心路历程,同时还给大家总结了一下当下流行的几种实时操作系统,以及在工程中OSAL应该如何设计.希望对大家有 ...
- 【深度强化学习】强化学习的基本概念
文章目录 前言 第一章:强化学习的基本概念 学习--监督, 无监督与强化学习 强化学习的体系与联系 Reward 奖励 Agent Environment Actions Observation 马尔 ...
- 强化学习之基础入门_强化学习基础
强化学习之基础入门 Reinforcement learning is probably one of the most relatable scientific approaches that re ...
- 强化学习的基础总结(一)
强化学习的基础总结(一) @(Machine Learning) 机器学习从大类上来分,可以有三种: 监督学习 无监督学习 强化学习 现在关注强化学习.强化学习泛泛来说,是一种决策方法. Q:强化学习 ...
- 强化学习入门系列一VS强化学习的基本概念
文章目录 强化学习的基本概念 1. 强化学习的算法步骤: 2. 强化学习和其他机器学习范式的不同 3. 强化学习的要素 a. 智能体 b. 策略函数 c. 值函数 d. 模型 4. 强化学习的环境类型 ...
- 强化学习之——马尔可夫决策过程原理
强化学习之--马尔可夫决策过程原理 1.1 MDP:策略与环境模型 我们以蛇棋为模型引入--蛇棋的关键问题在于:哪些因素决定了蛇棋最终获得分数的多少? 两个因素 选择什么样的手法投掷(也就是投3以内的 ...
- 【强化学习炼金术】李飞飞高徒带你一文读懂RL来龙去脉
强化学习炼金术 · 背景介绍(上) 欢迎来到<强化学习炼金术>第一讲.手摇芭蕉扇,支起八仙炉,再点上三昧真火.各位炼金术师,你们都准备好了吗? 在这一课里,我会跟大家说说强化学习的概念和目 ...
- 强化学习从基础到进阶-案例与实践[3]:表格型方法:Sarsa、Qlearning;蒙特卡洛策略、时序差分等以及Qlearning项目实战
[强化学习原理+项目专栏]必看系列:单智能体.多智能体算法原理+项目实战.相关技巧(调参.画图等.趣味项目实现.学术应用项目实现 专栏详细介绍:[强化学习原理+项目专栏]必看系列:单智能体.多智能体算 ...
最新文章
- 使用 Xbrowser4远程连接到 CentOS 7
- 【Python+selenium Wendriver API】之鼠标悬停事件
- noip 2017棋盘
- 了解ACL(访问控制列表)一些简单的ACL小实验
- PHP进程1608占用了9012,swoole (ERRNO 9012): worker exit timeout, forced to terminate
- mongodb与mysql的区别与具体应用场景
- 词云中去重复的词_今天从零教你开始利用Python打造词云图!
- rqnoj71 拔河比赛
- 服务器cmd升级系统命令,02-软件升级操作指导(命令行版)
- 如何实现上传多个图片并依次展示_如何在一页PPT中插入多张图片,并保持其美感...
- 这,才是有本事的男人
- Excel相关操作(二)Springboot框架使用easyexcel工具
- 想做自媒体副业,有什么领域可推荐?
- Nginx 源码编译安装配置
- 使用ffmeg的7个技巧
- ui设计发展到底好不好?为什么越来越多的人开始学习UI设计?
- 【QT开发笔记-基础篇】| 第五章 绘图QPainter | 5.11 路径
- ArcFace/InsightFace使用自己数据训练/验证过程(1)
- [ 深度学习平台 ] —— Google Colab : 开源GPU的配置与使用
- 第四章:Linux常用命令(续)