作者：CHEONG

公众号：AI机器学习与知识图谱

研究方向：自然语言处理与知识图谱

阅读本文之前，首先注意以下两点：

1、机器学习系列文章常含有大量公式推导证明，为了更好理解，文章在最开始会给出本文的重要结论，方便最快速度理解本文核心。需要进一步了解推导细节可继续往后看。

2、文中含有大量公式，若读者需要获取含公式原稿Word文档，可关注公众号【AI机器学习与知识图谱】后回复：变分推断第一讲，可添加微信号【17865190919】进学习交流群，加好友时备注来自CSDN。原创不易，转载请告知并注明出处！

本文将从机器学习中的频率角度和贝叶斯角度阐述各自解决问题的途径，然后引出变分推断的用途和用法。

一、本文结论

结论1： 从频率角度出发，通常把问题当成优化问题进行求解；从贝叶斯角度出发，通常把问题看成积分问题进行求解；

结论2： 变分推断是一种求解后验概率分布p(z∣x)p(z|x)p(z∣x)的近似推断方法，变分推断将Inference问题转化为优化问题进行求解；

结论3： 变分推断的主要思想：在给定数据集XXX下，问题是求后验概率ppp，简单情况下后验概率ppp可直接通过贝叶斯公式推导求出，但有些情况无法直接求解。因此变分推断想法是先假设另一个简单的概率分布qqq，如高斯分布，通过优化ppp和qqq之间距离最小化，让概率分布qqq逼近p，这样就可以用概率分布qqq近似表示后验概率ppp。

二、频率角度

从频率的角度出发，通常把问题当成优化问题来看待，下面通过三个简单例子认识一下。

例子1：回归问题。

回归问题在机器学习中很简单，首先回归模型为：

回归问题的Loss Function使用的是最小二乘法：

从上面公式可以看出，回归问题是一个无约束的最小优化问题。如果存在问题存在解析解则通过求导可以直接求出，如果问题不存在解析解，可通过梯度下降GD和随机梯度下降法SGD进行求解。

例子2：SVM分类问题。

机器学习经典的SVM分类算法模型为：

SVM算法的Loss Function定义为：

可以看出SVM是一个带有约束条件的优化问题，我们通常使用拉格朗日乘子法和对偶法进行求解，寻找分类的最有超平面。

例子3：EM算法。

EM算法常用于求解含有隐变量的概率模型的学习问题，比如高斯混合模型的Learning问题，EM算法将其转化为一个最优化问题。EM算法通过E-Step求期望，再通过M-Step最大化期望来对参数进行求解，参数求解公式为：

三、贝叶斯角度

从贝叶斯角度出发可以把问题看成是积分问题。贝叶斯公式为：

贝叶斯中常常需要求解后验概率分布p(z∣x)p(z|x)p(z∣x)，被称为贝叶斯推断，如下公式通过积分求概率分布：

那么推断的方法有哪些呢？首先如上公式所示，可以直接通过公式就能求出来的，称为精确推断。还有一类无法通过公式精确推断出来，称为近似推断。如下图所示，近似推断又分为两类：确定性近似推断和随机近似推断。而变分推断Variational Inference就是确定性近似推断的一种常用方法。在接下来文章中将讲解变分推断对Inference问题的详细解法。

【机器学习系列】变分推断第一讲：Variational Inference背景和用途相关推荐

机器学习之变分推断(三)基于平均场假设变分推断与广义EM
机器学习笔记之变分推断--基于平均场假设变分推断与广义EM 引言回顾:基于平均场假设的变分推断深入认识平均场假设经典变分推断与广义EM 引言上一节介绍了基于平均场假设的变分推断推导过程.本节 ...
变分贝叶斯、Variational Inference
不是大功告成了吗?通常情况下,上式是很难计算的,直观上看,需要考虑所有的都已比较困难了,更不用说能不能积分了,尤其是维度较高的情况,是需要多重积分的.当然,我们可以用Monte Carlo 的方法,不 ...
WebMatrix网站开发系列教程：第一讲 WebMatrix入门经典
第一讲:新手想要学习网站开发,让我们从WebMatrix开始吧! WebMatrix新手学习网站开发的首选!网站开发老鸟更新自身知识体系的最佳时机! WebMatrix简要介绍: 微软WebMatri ...
漫画：二分法系列篇（第一讲）
今天是小浩算法"365刷题计划"第66天.暂定接下来讲解的几个topic为:二分法(以常考题目为主).回溯法(大部分是中等以上难度题型).分治法(以思想掌握为主).动态规划(以2维 ...
vuex与全局变量区别_挑战全网最幽默的Vuex系列教程：第一讲 Vuex到底是什么鬼
先说两句官方已经有教程了,为什么还要写这个教程呢?说实话,还真不是我闲着蛋疼,官方的教程真的是太官方了,对于刚入门 Vuex 的童鞋来说,想必看官方的教程,很多地方就如同看圣经一样,比如「欧玛尼玛尼 ...
挑战全网最幽默的Vuex系列教程：第一讲 Vuex到底是什么鬼
先说两句官方已经有教程了,为什么还要写这个教程呢?说实话,还真不是我闲着蛋疼,官方的教程真的是太官方了,对于刚入门 Vuex 的童鞋来说,想必看官方的教程,很多地方就如同看圣经一样,比如「欧玛尼玛尼 ...
机器学习斯坦福公开课第一讲
学习机器学习的前提条件是计算机科学的基础知识和基本技能和原理.数据结构.基本概率知识.机器学习:无监督学习和监督学习监督学习依靠人为定义,给予特征值和结果无监督学习提供数据让机器自己区分找到特征集群
免费公开课 | AI对抗攻防系列专题，今晚7点第一讲
精选6讲针对人脸识别的AI对抗专题课,搭配实战项目演练,完成项目作业即可获得完课奖品近年来,AI安全问题愈加受到行业关注.在今年6月的智源大会上,清华大学计算机系教授.RealAI 首席科学家朱军就 ...
CS285课程笔记（5.(1)）——从概率图角度理解强化学习（变分推断原理+VAE）
Lecture 18, 19 (2020版)这两节课的核心内容就是如何把强化学习问题(又可以称为最优控制问题)转化为一个基于概率图模型的推断问题,这里的推断又可以进一步细分为精确推断(Exact In ...
变分推断（Variational Inference）最新进展简述
动机变分推断(Variational Inference, VI)是贝叶斯近似推断方法中的一大类方法,将后验推断问题巧妙地转化为优化问题进行求解,相比另一大类方法马尔可夫链蒙特卡洛方法(Markov ...

【机器学习系列】变分推断第一讲：Variational Inference背景和用途

一、本文结论

二、频率角度

三、贝叶斯角度

【机器学习系列】变分推断第一讲：Variational Inference背景和用途相关推荐

最新文章

热门文章