大三小学期进阶课程第二十一课：reinforcement learning and data driven approaches

第21课、reinforcement learning and data driven approaches

解决规划问题，不能一上来就开始data driven，而是一步步来从rule based这些基本规则开始
RL的本质是建立mapping 的过程，是遇到了问题再解决的思路
(1)我遇到一个case，但我解决不了
(2)看是不是什么地方解决不了
(3)把这个地方进行拓展
RL的思想就是不断的通过在目标不变的情况下，随机地去找一个action，然后看结果怎么样，不好的话就进行修正，或者说策略进行修正，逐渐收敛到一个mapping，使得这个mapping能够optimize reward function given all states
RL的问题就是在学习的过程中成绩会不断提高，但在真的遇到一个没见过的case的情况下难以解决问题
observed state：

(1)有些时候环境感知并不是完全感知的，有些hidden的状态并不是完全能够知道的
(2)用POMDP这个model去model一些uncertainty
(3)图的意思就是看到老虎之后应该向左还是向右还是跑到他嘴里的模型
end to end imitation learning

(1)证明在一定情况下，在一定data量的情况下，可以得到一个能接受的结果
(2)本质上来讲，还是一个imitation learning
distribution shifting problem蝴蝶效应问题

(1)在研究的时候，一个一点点的变化，就会引起周围环境的发生很剧烈的变化
(2)所以在进行训练的时候，随着数据量的增加，本身系统是很脆弱的，因为没法证明他有李亚普诺富稳定性，即到t时间的时候无法控制它的误差
其他问题

(1)容易产生平均值，而无法得到最优值
如何进行修正：

(1)我们通过寻找一个action的mapping，使得他的那个maximize的reward function，这是整个RL中最关心的问题
(2)data driven只是加速总结，让系统变得更快

大三小学期进阶课程第二十一课：reinforcement learning and data driven approaches相关推荐

大三小学期进阶课程第二十课：Understand More on the MP Difficulty
第20课.Understand More on the MP Difficulty EM是一个在已知部分相关变量的情况下,估计未知变量的迭代技术,EM的算法流程如下: (1)初始化分布参数: (2)重 ...
大三小学期进阶课程第二十九课：感知概貌
第29课.感知概貌人类开车与机器开车在感知上的区别 (1)感知是机器人学科的问题,机器人要做的即是像人类学习,但不是完全模仿,应做到扬长避短.例如飞机的飞行不需要和鸟的飞行一样,而是要根据自己的特性 ...
大三小学期进阶课程第十二课：apollo地图采集方案
第12课.apollo地图采集方案 TomTom的移动测量车队通过配备有1台Velodyne激光雷达相机.1台360度全景相机.2台SICK雷达和兼容GPS/GLONASS的高精度天线的福特翼虎,让驾 ...
大三小学期入门课程第六课：规划
在规划中,我们通过结合高精度地图,定位和预测来构建车辆轨迹,规划的第一步是路线导航,侧重于如何从地图上的A前往B,在进行路线规划时,将地图数据作为输入并输出可行驶路径轨迹规划的目标是生成免碰撞和舒适 ...
NeHe OpenGL教程第二十一课：线的游戏
转自[翻译]NeHe OpenGL 教程前言声明,此 NeHe OpenGL教程系列文章由51博客yarin翻译(2010-08-19),本博客为转载并稍加整理与修改.对NeHe的OpenGL管线 ...
【麦可网】Cocos2d-X跨平台游戏开发学习笔记---第二十一课：Cocos2D-X网格特效1-3
[麦可网]Cocos2d-X跨平台游戏开发---学习笔记第二十一课:Cocos2D-X网格特效1-3 ================================================ ...
实践数据湖iceberg 第二十一课 flink1.13.5 + iceberg0.131 CDC(测试成功INSERT,变更操作失败)
系列文章目录实践数据湖iceberg 第一课入门实践数据湖iceberg 第二课 iceberg基于hadoop的底层数据格式实践数据湖iceberg 第三课在sqlclient中,以sql ...
OpenGL教程翻译第二十一课聚光灯
第二十一课聚光灯原文地址:http://ogldev.atspace.co.uk/(源码请从原文主页下载) 背景聚光灯是第三个也是最后一个我们将要介绍的光源类型(至少在一段时间内).他比平行光和 ...
Python界面编程第二十一课：Pyside2 (Qt For Python)打印预览QTextEdit内容
Pyside2 的QPrintSupport类中的QPrinter 和 QPrintPreviewDialog支持打印功能. 先看完整代码: from PySide2.QtWidgets import ...

大三小学期进阶课程第二十一课：reinforcement learning and data driven approaches

大三小学期进阶课程第二十一课：reinforcement learning and data driven approaches相关推荐

最新文章

热门文章