【ICML2021】学习权衡不完美的示范

来源：专知本文为论文，建议阅读5分钟
这篇论文主要解决的问题是如何在生成对抗模仿学习（GAIL）中为不完美专家演示加权。

论文题目：Learning to Weight Imperfect Demonstrations （ICML 2021）

作者：Yunke Wang, Chang Xu, Bo Du, Honglak Lee

论文概述：这篇论文主要解决的问题是如何在生成对抗模仿学习（GAIL）中为不完美专家演示加权。模仿学习期望智能体通过模仿专家的行为来进行学习，然而在许多现实世界的任务中专家也会犯错，由此产生的不完美专家演示将会严重误导智能体的学习。目前，已有的一些基于加权和偏好学习的解决不完美专家演示的方法往往依赖额外的先验信息，无法在更普遍和通用的模仿学习设置下使用。因此，本文提出了一种在生成对抗模仿学习的框架下为专家演示自动生成权重的方法，通过严格的数学证明，我们发现专家演示的权重可以在训练中由GAIL中的判别器和智能体策略估算得到。理论分析显示，当我们使用该估算的权重，智能体事实上在学习一个比原始给定的专家策略更优的策略。在Mujoco和Atari上的实验结果显示了算法的优越性。

http://proceedings.mlr.press/v139/wang21aa.html

图1 Mujoco中可视化权重，第一行是非最优演示权重，第二行是最优演示权重

【ICML2021】学习权衡不完美的示范相关推荐

【TensorFlow学习笔记】完美解决 pip3 install tensorflow 没有models库，读取PTB数据
安装tensorflow 我使用的是最最最简单的容易的 pip3 install <TensorFlow学习笔记> 一. 安装win10下python3.6的tensorflow的CPU版 ...
算法学习之路|完美数列
给定一个正整数数列,和正整数p,设这个数列中的最大值是M,最小值是m,如果M <= m * p,则称这个数列是完美数列. 现在给定参数p和一些正整数,请你从中选择尽可能多的数构成一个完美数列. ...
论文整理学习——生成任意完美的庞加莱光束
摘要提出了一种使用一个空间光调制器(SLM)生成任意完美庞加莱光束的方法. 原理:偏振分束器用于产生正交(x和y)偏振的两个偏振光束. SLM的一半有助于塑造X偏振光束,SLM的另一半形成y偏振光束 ...
腾讯优图：带噪学习和协作学习，不完美场景下的神经网络优化策略
神经网络的成功建立在大量的干净数据和很深的网络模型基础上.但是在现实场景中数据和模型往往不会特别理想,比如数据层面有误标记的情况,像小狗被标注成狼,而且实际的业务场景讲究时效性,神经网络的层数不能特别 ...
学习python最好的书籍_最好的Python书籍
学习python最好的书籍 Python is an amazing programming language. It can be applied to almost any programming ...
从1到无穷大-强化学习篇
0x01 强化学习在从0到1中已经介绍了基本的思想,现在再详细介绍下. 强化学习的核心逻辑,那就是智能体(Agent)可以在环境(Environment)中根据奖励(Reward)的不同来判断自己在什 ...
【论文笔记】基于深度强化学习的机器人操作行为研究综述
目录摘要关键词 1 引言 2 概念和术语 2.1 深度学习 2.2 强化学习 2.2.1 强化学习算法原理 2.2.2 强化学习算法分类 1. 无模型(model-free)算法和基于模型(mod ...
图深度学习：成功，挑战以及后面的路
2020-07-07 10:24:07 作者:Michael Bronstein 编译:ronghuaiyang 导读介绍了图深度学习取得的一些成果,面对的挑战以及后面的发展之路. 图深度学习,也被 ...
有哪些专业学python_学习python有哪些好书和学习方法?
既然题主是C++图形程序员,而且是想在业余时间.深入学习python,那就从专业的角度回答一下吧- 我本科专业计算机科学与技术.研究生方向是人工智能.下面我就从问题关注的好书和方法两个方面说一下我们专 ...

【ICML2021】学习权衡不完美的示范

【ICML2021】学习权衡不完美的示范相关推荐

最新文章

热门文章