贝叶斯学习及共轭先验
今天的主要任务是来理解共轭先验以及贝叶斯学习。最近在研究主题模型，里面用到了一些，另外在机器学习中，贝叶斯学习是重要的一个方向，所以有必要学习和掌握。
Contents
1. 贝叶斯学习
2. Beta分布及共轭先验
1. 贝叶斯学习
首先，我从最简单的硬币投掷开始。现在给你一个硬币，假设有
的概率为正面朝上，那么有的概率是背
面朝上，那么如果在5次投掷过程中，有3次是正面朝上，那么这个最可能是多少呢？
凭着直观感觉，我们可能会认为是3/5，当然这是根据统计规律得到的结论。那么实际上这是一个二项分布，即
重复n次的伯努利实验。由上述所述，很容易知道其概率表示如下
我们需要这个概率尽量大，那么最终解得的值为3/5。函数图像如下
但是，我们想象一下，如果在5次投掷过程中，5次都正面朝上，那岂不是得到的估计值是1？ 很明显这种情
况得到的估计值不合理。为了避免这种“黑天鹅事件”的发生，需要将值降低一些才能看似更符合常理，那么
我们只需要乘上另一个小于1的概率值就可以达到了。到了这里贝叶斯公式横空出世！如下
其中叫做先验概率，叫做似然概率，先验概率是对似然概率的一种补充，如上述的掷硬币。而
后验概率正比于似然概率和先验概率的乘积。
2. Beta分布及共轭先验
还是以掷硬币为例，我们已经知道了后验概率正比于似然概率和先验概率的乘积。那么在掷硬币实验中，硬币的
朝向服从伯努利分布，在一系列投掷过程中，假设有次正面朝上，有次背面朝上，那么似然概率为
现在已经得到了似然概率的形式了，那么如何确定先验概率呢？从理论上来说，任何一个在区间[0, 1]上的分
布函数都符合条件，但是为了更方便地简化计算，最理想的情况就是让先验分布和似然分布有相同的形式，即
如果先验分布是这样的形式，那么计算先验概率和似然概率的乘积就很方便了，只需要将指数相加即可。幸运
的是，有一个很常见的分布恰好满足这个条件，它就是Beta分布。如下
其中是Gamma函数。现在根据先验概率、似然概率和贝叶斯公式来推导后验概率。推导过程如下
在上述中，先验概率叫做似然概率的共轭先验。所谓共轭就是指这两个概率分布具有相同的形式。
最后推荐一些好文章！
一. Beta分布与二项分布的公式原理推导
二. Beta分布与其共轭先验的介绍
三. 多项式分布及Beta分布的期望计算
贝叶斯学习及共轭先验相关推荐
- matlab稀疏贝叶斯,基于变分稀疏贝叶斯学习的DOA估计
作为阵列信号处理技术的重要研究方向之一,信号到达角(DOA)估计被广泛应用到雷达.声呐等领域.以MUSIC[和ESPRIT[为代表的传统空间谱估计算法,实现简单,且空间分辨率高,但要求高信噪比以及多快 ...
- 贝叶斯学习（Bayesian Learning）基础篇
Bayesian Learning 前言 Motivation and Introduction Think about Spam Filtering. 先验概率 后验概率 似然度 边际概率 Basi ...
- 机器学习之朴素贝叶斯学习笔记
朴素贝叶斯 一.概述 朴素贝叶斯算法是有监督的学习算法,解决的是分类问题,如客户是否流失.是否值得投资.信用等级评定等多分类问题.该算法的优点在于简单易懂.学习效率高.在某些领域的分类问题中能够与决策 ...
- 【机器学习】贝叶斯学习
贝叶斯学习 贝叶斯学习就是基于贝叶斯理论(Bayesian Theory)的机器学习方法. 贝叶斯法则 也称为贝叶斯理论(Bayesian Theorem,或Bayesian Rule,或Bayesi ...
- 贝叶斯学习的简单介绍
文章目录 贝叶斯学习 Bayesian Learning 一.介绍 1.1 先验概率 1.2 后验概率 二.贝叶斯理论 2.1 举例介绍 2.2 MAP假设 2.3 概率法则 三.最小描述长度假设 四 ...
- c++蛮力法例子_学习方法系列丨贝叶斯学习法，我们几乎每天都在使用的数学工具...
英国数学家托马斯·贝叶斯是个很神奇的人,他的经历类似梵高.生前没有得到重视,死后,他写的一篇关于归纳推理的论文被朋友翻了出来,并发表了.这一发表不要紧,结果这篇论文的思想直接影响了接下来两个多世纪的统 ...
- java 稀疏贝叶斯算法_稀疏贝叶斯学习（SparseBayesianLearning）.PDF
稀疏贝叶斯学习(SparseBayesianLearning) 稀疏贝叶斯学习(Sparse Bayesian Learning) 张智林(Zhilin?Zhang)? z4zhang@ Depart ...
- 稀疏贝叶斯学习推导过程
稀疏贝叶斯学习(Spare Bayesian Learning),在信号处理所覆盖的多个领域至今都有着重要应用.关于稀疏贝叶斯的详细的介绍,可以参考文献[1][2].本篇博客给出了简要的稀疏贝叶斯的推 ...
- 视觉机器学习20讲-MATLAB源码示例（6）-贝叶斯学习算法
视觉机器学习20讲-MATLAB源码示例(6)-贝叶斯学习算法 1. 贝叶斯学习算法 2. Matlab仿真 3. 小结 1. 贝叶斯学习算法 贝叶斯分类算法是统计学的一种分类方法,它是一类利用概率统 ...
最新文章
- Error in do_one(nmeth) : NA/NaN/Inf in foreign function call (arg 1)
- Python-解决粘包
- Java加密算法 AES
- 怎么看tomcat添加的项目名_Tomcat部署项目不加项目名访问,不加8080访问
- 从 JDBC 到 Mybatis，看这篇就够了
- 《C语言解惑》—— 2.1 printf输出的小奥妙
- jquery 遍历 each 每个匹配元素规定要运行的函数
- [转]Android TV 遥控器适配
- Tableau数据可视化案例
- STM32F100X RCC_APB2Periph_AFIO--复用IO时钟的使用
- ERROR 1356 (HY000): View 'information_schema. SCHEMATA'
- python Plot 画图用法
- 电子银行卡的优势分析
- 慢就是快的人生哲理_感悟人生：慢是一种心态
- python设计一个学生类姓名年龄成绩_C# 编写学生类Student,包含学生姓名,成绩,设计一个友员函数sortDegree(),将学生成绩按大到小排序。...
- 【线段树】2019雅礼集训 sequence
- 内核proc参数注释（kernel、vm、net、fs四类）
- Horizon 队列管理工具常用命令
- 61850协议服务器端开发,IEC61850报告服务端开发.doc
- 建设网站-个人电子图书馆