机器学习——概率模型

概述——用一类图来表达变量相关关系的概率模型（概率模型将学习任务归结于计算变量的概率分布）

P(A|B)=P(A,B)/P(B)——根据联合概率 P(A,B)推断 P(A|B)的过程

具体说：假定所关心的变量集合为 Y，可观测变量集合为 O，其他变量的集合为 R

“生成式”模型：考虑联合分布 P(Y,R,O)

”判别式“模型：考虑联合分布 P(Y,R|O)

“推断”——利用已知变量推测未知变量的分布——核心是：如何基于可观察变量推测出未知变量的条件分布；

——给定一组观测变量值，由 P(Y,R,O) 或 P(Y,R|O) 得到条件概率 P(Y|O)

已知图模型	有向图模型——贝叶斯网
已知图模型	无向图模型——马尔科夫随机场
未知图模型	“评分搜索”——根据训练数据集找出结构最恰当的贝叶斯网

1.贝叶斯网/信念网——借助有向无环图图来刻画属性之间的依赖关系，并使用条件概率表来描述属性的联合概率分布

1.1贝叶斯网三种典型依赖关系


V型结构也成冲撞结构	同父结构	顺序结构

V型结构也成冲撞结构：给定c的取值，a,b必不独立，但是当c的取值不知道时，a,b反而独立

同父结构：当c已知时，a和b独立

顺序结构：如果已知C，那么a和b条件独立

1.2“有向分离”——分析有向图中变量间的条件独立性

步骤 1）把有向图转变一个无向图

找出有向图中所有V型结构，在V型结构的两个父结点之间加上一条无向边；

将所有有向边改为无向边，由此产生的无向图称为“道德图”

2）基于道德图找到变量间的条件独立性

假定道德图中有变量x,y和变量集合z={Zi},若变量x和y能在图上被z分开，即从道德图中将变量集合z去除掉后，x和y分属于两个联通分支，则称变量x和y被z有向分离；

1.3结构

以结构表达了属性之间的条件独立性，给定父节点集，假设每个属性与它的非后裔属性独立，于是有联合概率分布定义为

1.4典型图结构

1.4.1 朴素贝叶斯分类器

联合概率的求解：

朴素贝叶斯分类器的表达式：

1.4.2 隐马尔可夫模型

联合概率的求解：

确定一个隐马尔可夫模型，还需要三组参数

1）状态转移概率：模型在各个状态间转换的概率,通常用矩阵表示

2）输出观测概率:根据当前状态获得各个观测值的概率，通常用矩阵表示

3）初始状态概率：模型在初始时各个状态出现的概率，通常记为：

表示模型初始状态为的概率

通过制定状态空间Y，观测空间X和以上三个参数，就确定一个隐马尔可夫模型

2.马尔可夫随机场——典型的马尔可夫网，这是一种著名的无向图模型（由无向图表示的联合概率分布）

随机变量间三种典型关系：

1）全局马尔可夫性——给定随机变量组Yc条件下，随机变量组Ya,Yb是条件独立

2）局部马尔可夫性——在给定与一个节点连接的邻接变量 w 的情况下，该节点 v 与其他变量 o 条件独立

3）成对马尔可夫性——描述两个节点条件独立

概率无向图模型的因子分解——将概率无向图模型的联合概率分布表示为其最大团上随机变量的函数的乘积形式

势函数——定量刻画变量间的相互关系；为了满足非负性，指数函数常被用于定义势函数

条件随机场——主要讨论定义在线性链上的条件随机场

机器学习——概率模型相关推荐

贝叶斯机器学习：经典模型与代码实现！
Datawhale干货 Author:louwill,贝叶斯机器学习贝叶斯定理是概率模型中最著名的理论之一,在机器学习中也有着广泛的应用.基于贝叶斯理论常用的机器学习概率模型包括朴素贝叶斯和贝叶斯网 ...
【机器学习】贝叶斯机器学习：经典模型与代码实现
贝叶斯机器学习 Author:louwill Machine Learning Lab 贝叶斯定理是概率模型中最著名的理论之一,在机器学习中也有着广泛的应用.基于贝叶斯理论常用的机器学习概率模型包括朴 ...
贝叶斯机器学习：经典模型与代码实现
贝叶斯定理是概率模型中最著名的理论之一,在机器学习中也有着广泛的应用.基于贝叶斯理论常用的机器学习概率模型包括朴素贝叶斯和贝叶斯网络.本章在对贝叶斯理论进行简介的基础上,分别对朴素贝叶斯和贝叶斯网络理 ...
hbuilderx代码自动补全_DL时代的代码补全利器，北大出品，效果远超语言模型
从程序员到数据工程师,编写程序代码是一项基本功,但是编写冗长代码的过程也极大地消耗了开发者的耐心.近来,有不少关于代码补全工具的消息爆出,例如,来自美国的 Kite,来自加拿大的 TabNine 等, ...
活动预告 | 智能化软件开发微访谈·第十九期暨2022新年特辑：软件智能化开发：进展与挑战...
CodeWisdom 智能化软件开发沙龙是复旦大学CodeWisdom团队参与组织的专注于代码大数据与智能化软件开发的学术和技术沙龙,面向相关领域的学术界研究者和工业界实践者,通过各种线上和线下交流活 ...
机器学习中的两个概率模型
discriminative model 和 generative model是机器学习算法中两种概率模型,用来实现对训练样本的概率分布进行建模,在实践中由于经常混淆,现在通过查阅资料,将两者的分别总 ...
机器学习中的概率模型
机器学习中的概率模型转自:https://zhuanlan.zhihu.com/p/164551678 机器学习中的概率模型概率论,包括它的延伸-信息论,以及随机过程,在机器学习中有重要的作用.它 ...
机器学习与深度学习系列连载：第一部分机器学习（五）生成概率模型（Generative Model）
生成概率模型(Generative Model) 1.概率分布我们还是从分类问题说起: 当我们把问题问题看做是一个回归问题, 分类是class 1 的时候结果是1 分类为class 2的时候结果是- ...
新一代AI顾泽苍：自组织概率模型SDL主导的机器学习(公号回复“顾泽苍AI”下载PDF资料，欢迎转发、赞赏支持科普)
新一代AI顾泽苍:自组织概率模型SDL主导的机器学习(公号回复"顾泽苍AI"下载PDF资料,欢迎转发.赞赏支持科普) 原创: 秦陇纪科学Sciences 今天科学Science ...
机器学习中的概率模型和概率密度估计方法及 VAE生成式模型详解（之二）
简介非监督机器学习(Unsupervised Machine Learning)中的数据分布密度估计(Density Estimation).样本采样(Sampling)与生成(Generation ...

机器学习——概率模型

机器学习——概率模型相关推荐

最新文章

热门文章