java 稀疏贝叶斯算法_稀疏贝叶斯学习（SBL）算法过程推导

【直接复制word中的公式格式会出问题，为了方便，公式部分就以截图形式呈现】

首先推导贝叶斯公式：

考虑事件A和事件B：

由以上两式，即得贝叶斯公式：

求解的问题模型为：

由贝叶斯公式可得：

要估计ω可由arg

p(ω|t)求得

假定ϵ符合均值为0，方差为

的高斯分布，则可得出t符合均值为Φω，方差为

的高斯分布,即

假定ω由超参数γ产生，并符合均值为0，方差为

的高斯分布，即

由全概率公式可得：

积分部分相当于两个高斯函数的卷积，仍为高斯函数。将指数部分看作一个整体，令：

L是关于ω的二次项。对于高斯函数有以下性质：

式中A是矩阵，b是向量，C是常数。可将L表达成

的样式，f中不含变量ω 。我们可以将满足Aω+b=0的ω代入其中，即得到f。为求ω，可通过对L求导，求其一阶零点得:

将ω 代入L中，得到，

因此对全概率公式进行积分后得

由此可以看出p(t;γ) 是一个高斯分布，其均值为0,协方差矩阵Σt 满足：

可通过下面矩阵求逆公式得到:

求得：

后验概率推导：

根据贝叶斯公式，有

利用前面的结果，分母部分已求得。分子部分是两个高斯概率密度函数的乘积，其结果仍为高斯分布，再与分母部分相除，最终还是为高斯分布。将前面求得的结果分别代入, 忽略常数部分，可得：

其均值为指数部分对ω的一阶导数零点，协方差矩阵的逆为指数部分对ω的二阶导数。可令：

对ω 求导，得

对ω 求二阶导，得：

令

得，

且

M>>N，Σω M阶，Σt N阶，Σω 的逆的复杂度远远高于Σt 的逆的复杂度，可运用矩阵和求逆公式将

转化为求

，结果如下：

最后通过EM算法更新超参数：

完毕

java 稀疏贝叶斯算法_稀疏贝叶斯学习（SBL）算法过程推导相关推荐

Python_机器学习_算法_第1章_K-近邻算法
Python_机器学习_算法_第1章_K-近邻算法文章目录 Python_机器学习_算法_第1章_K-近邻算法 K-近邻算法学习目标 1.1 K-近邻算法简介学习目标 1 什么是K-近邻算法 1 ...
主要推荐系统算法总结及Youtube深度学习推荐算法实例概括
主要推荐系统算法总结及Youtube深度学习推荐算法实例概括 By ZhuZhiboSmith2017年7月09日 17:00 现如今,许多公司使用大数据来做超级相关推荐,并以此来增加收益.在海量推荐 ...
java 稀疏贝叶斯算法_稀疏贝叶斯学习（SparseBayesianLearning）.PDF
稀疏贝叶斯学习(SparseBayesianLearning) 稀疏贝叶斯学习(Sparse Bayesian Learning) 张智林(Zhilin?Zhang)? z4zhang@ Depart ...
java实现apriori算法_七大经典、常用排序算法的原理、Java 实现以及算法分析
0. 前言大家好,我是多选参数的程序员,一个正再 neng 操作系统.学数据结构和算法以及 Java 的硬核菜鸡.数据结构和算法是我准备新开的坑,主要是因为自己再这块确实很弱,需要大补(残废了一般) ...
weka java 分类算法_使用Weka快速实践机器学习算法
[译者注]在当下人工智能火爆发展的局面,每时每刻都有新的技术在诞生,但如果你是一个新手,Weka或许能帮助你直观.快速的感受机器学习带来的解决问题的新思路. Weka使机器学习的应用变得简单.高效并且 ...
沃舍尔算法_[数据结构拾遗]图的最短路径算法
前言本专题旨在快速了解常见的数据结构和算法. 在需要使用到相应算法时,能够帮助你回忆出常用的实现方案并且知晓其优缺点和适用环境.并不涉及十分具体的实现细节描述. 图的最短路径算法最短路径问题是图论 ...
neo4j python 算法_图论与图学习（二）：图算法
选自towardsdatascience 作者:Maël Fabien机器之心编译参与:熊猫图(graph)近来正逐渐变成机器学习的一大核心领域,比如你可以通过预测潜在的连接来理解社交网络的结构.检 ...
xgboost算法_工业大数据：分析算法
一. 应用背景大数据分析模型的研究可以分为3个层次,即描述分析(探索历史数据并描述发生了什么).预测分析(未来的概率和趋势)和规范分析(对未来的决策给出建议).工业大数据分析的理论和技术研究仍处于起 ...
prim算法_最小生成树（Kruskal和Prim算法）
文章和资源同步更新至微信公众号:算法工程师之路 8月份会开启每日算法题系列,值得期待哦上一篇文章,我们讲了图的创建和遍历,其中遍历的算法主要有BFS(广度优先算法)和DFS(深度优先算法)两种,并且 ...
詹金斯搭建_詹金斯的Maven报告
詹金斯搭建代码质量是一个敏感的话题. 它会影响您的维护成本以及客户满意度. 更不用说您的开发人员使用代码的动力了. 谁想要修复难看的代码,对吗? 讨论代码质量总是需要事实和数字! 因此,这是一个简短 ...

java 稀疏贝叶斯算法_稀疏贝叶斯学习（SBL）算法过程推导

java 稀疏贝叶斯算法_稀疏贝叶斯学习（SBL）算法过程推导相关推荐

最新文章

热门文章