蒙特卡洛梯度估计方法(MCGE)简述
动机
随机梯度估计方法的相关背景知识,包括:蒙特卡洛采样和随机优化
几种经典应用,包括:变分推断、强化学习、实验设计
两类经典的梯度估计算法
背景知识
仿真过程中,由于系统响应 F(θ) 是随机变量,因此其梯度以及 Hessian 矩阵等都是随机的,需要近似估计;
优化过程中,由于采用一些近似处理手段,比如用 mini batch 来估计梯度会产生随机性。
应用
方法综述
求解分布测度的导数,包括本文介绍的 score function gradient estimator
求解代价函数的导数,包括本文介绍的 pathwise gradient estimator
代价函数 f(x) 可以是任意函数。比如可微的,不可微的;离散的,连续的;白箱的,黑箱的等。这个性质是其最大的优点,使得很多不可微的甚至没有具体函数的黑箱优化问题都可以利用梯度优化求解。
分布函数 p(x;θ) 必须对 θ 是可微的,从公式中也看得出来。
分布函数必须是便于采样的,因为梯度估计都是基于 MC 的,所以希望分布函数便于采样。
SFGE 的方差受很多因素影响,包括输入的维度和代价函数。
策略梯度优化算法 REINFORCE 及其变种
基于 GAN 的自然语言生成
基于自动微分的黑盒变分推断
代价函数要求是可微的,比 SFGE 更严格
在使用 PGE 时,并不需要显式知道分布的形式,只需要知道一个基础分布和从该基础分布到原分布的一个映射关系即可,这意味着,不管原来分布多么复杂,只要能获取到以上两点信息,都可以进行梯度估计;而 SFGE 则需要尽量选择一个易采样的分布
PGE 的方差受代价函数的光滑性影响
深度生成模型 VAE 和 GAN 的训练
基于 Normalising Flow 的变分推断
用于连续控制问题的强化学习
总结
参考文献
[1] Mohamed, S., Rosca, M., Figurnov, M., & Mnih, A. (2019). Monte Carlo Gradient Estimation in Machine Learning. ArXiv Preprint ArXiv:1906.10652.
[2] Fu, M. C. (2005). Stochastic Gradient Estimation, 105–147.
[3] Shakir's Machine Learning Blog http://blog.shakirm.com
[4] Postels, J., Ferroni, F., Coskun, H., Navab, N., & Tombari, F. (2019). Sampling-free Epistemic Uncertainty Estimation Using Approximated Variance Propagation. ArXiv Preprint ArXiv:1908.00598.
[5] Wu, A., Nowozin, S., Meeds, T., Turner, R. E., Lobato, J. M. H., & Gaunt, A. (2019). Deterministic Variational Inference for Robust Bayesian Neural Networks. In ICLR 2019 : 7th International Conference on Learning Representations.
点击以下标题查看更多往期内容:
全新视角:用变分推断统一理解生成模型
变分自编码器VAE:一步到位的聚类方案
漫谈概率 PCA 和变分自编码器
再谈变分自编码器VAE:从贝叶斯观点出发
从傅里叶分析角度解读深度学习的泛化能力
NAACL 2019最佳论文:量子概率驱动的神经网络
#投 稿 通 道#
让你的论文被更多人看到
如何才能让更多的优质内容以更短路径到达读者群体,缩短读者寻找优质内容的成本呢?答案就是:你不认识的人。
总有一些你不认识的人,知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁,促使不同背景、不同方向的学者和学术灵感相互碰撞,迸发出更多的可能性。
PaperWeekly 鼓励高校实验室或个人,在我们的平台上分享各类优质内容,可以是最新论文解读,也可以是学习心得或技术干货。我们的目的只有一个,让知识真正流动起来。
? 来稿标准:
• 稿件确系个人原创作品,来稿需注明作者个人信息(姓名+学校/工作单位+学历/职位+研究方向)
• 如果文章并非首发,请在投稿时提醒并附上所有已发布链接
• PaperWeekly 默认每篇文章都是首发,均会添加“原创”标志
? 投稿邮箱:
• 投稿邮箱:hr@paperweekly.site
• 所有文章配图,请单独在附件中发送
• 请留下即时联系方式(微信或手机),以便我们在编辑发布时和作者沟通
?
现在,在「知乎」也能找到我们了
进入知乎首页搜索「PaperWeekly」
点击「关注」订阅我们的专栏吧
关于PaperWeekly
PaperWeekly 是一个推荐、解读、讨论、报道人工智能前沿论文成果的学术平台。如果你研究或从事 AI 领域,欢迎在公众号后台点击「交流群」,小助手将把你带入 PaperWeekly 的交流群里。
▽ 点击 | 阅读原文 | 获取最新论文推荐
蒙特卡洛梯度估计方法(MCGE)简述相关推荐
- 【ICML2021】具有持续进化策略的展开计算图的无偏梯度估计
来源:专知本文为论文,建议阅读5分钟 Unbiased Gradient Estimation in Unrolled Computation Graphs with Persistent Evolu ...
- 【干货】全面总结(值函数与优势函数)的估计方法
深度强化学习实验室 官网:http://www.neurondance.com/ 论坛:http://deeprl.neurondance.com/ 作者:高新根博士(DeepRL-Lab研究员) 编 ...
- 独家 | 神经网络的对抗性攻击:快速梯度符号方法的探索(附链接)
作者:Patrycja Jenkner 翻译:陈之炎 校对:欧阳锦 本文约2300字,建议阅读8分钟 本文将尝试一种非常流行的攻击:快速梯度符号方法,来证明神经网络的安全漏洞. 标签:对抗性攻击,神经 ...
- 单目深度估计方法:现状与前瞻
今天为大家推荐的是<中国图象图形学报>2019年第12期论文<单目深度估计技术进展综述>,该文由中国图象图形学学会成像探测与感知专委会组织,北京理工大学刘越教授等学者撰写,对国 ...
- 论文精读-基于双目图像的视差估计方法研究以及实现
基于双目图像的视差估计方法研究及实现 第一章 绪论 1.1 课题的研究背景与意义 1.2 双目视差估计的研究现状 1.2.1 传统立体匹配方法研究现状 1.2.2 统计学习方法研究现状 1.2.3 深 ...
- 蒙特卡洛(Monte Carlo)方法的介绍和应用
蒙特卡洛(Monte Carlo)方法的介绍和应用 蒙特卡洛(Monte Carlo)方法 在渲染中,我们经常听到术语"蒙特卡洛"(通常缩写为MC).但是这是什么意思?实际上,它所 ...
- 刚体6D位姿估计方法综述
本文同步于微信公众号:3D视觉前沿,欢迎大家关注. 1 引言 刚体的6D位姿估计,是指估计相机坐标系下物体的6D位姿,即3D位置和3D姿态,此时原始物体本身的坐标系可以看作是世界坐标系,也即得到原始物 ...
- 综述|姿态估计方法大盘点
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达 作者:Ilias Mansouri 翻译:仿佛若有光 Introduction 顾名思义,通过姿势估计 ...
- code epi 光场_遮挡场景的光场图像深度估计方法
0 引言 光场相机[是一种新型的多目视觉相机, 巧妙地结合了计算光学理论.计算成像技术及数字图像处理技术等.微透镜式光场相机在主透镜和图像传感器之间放置了微透镜阵列, 所以单次曝光可以记录3维场景的位 ...
最新文章
- 京瓷1110打印自检页_如何修改小票打印机、厨房打印机IP地址
- HBase常用功能和HBase+MapReduce使用总结
- day3 python 函数
- 电磁场与电磁波第二章 电磁场的基本规律
- ecg 幅度_ECG信号中一些运动伪差的讨论
- 异步接口同步返回_同步|异步
- 力扣- -正则表达式匹配
- 不同浏览器css引入外部字体的方式
- matlab amd补丁,Matlab升级 AMD锐龙性能恢复满血:轻松提升60%
- 蔡高厅老师 - 高等数学阅读笔记 - 04 - 函数的连续性(18、19、20、21)
- EasyRecovery 618年度大促销,走过路过不要错过!
- oracle 设置输出显示,oracle输出语句
- 图像处理之LSB替换隐写算法的实现
- 《交互设计》作业-第六周
- Flink界面提交任务报错500【The program plan could not be fetched】
- php活体检测,人脸门禁系统中活体检测的必要性
- java设置httpheaders_HttpClient 请求添加Header头部信息
- CTFHub-SSRF---(Post请求/上传文件/FastCGI/Redis/URL/数字IP/302跳转/DNS重绑定 Bypass)
- 寒假思雨姐摸底E题,题解
- 高德地图区域围栏绘制