python 条件概率_机器学习中的概率问题

机器学习的过程可以理解为计算机通过分析大量的数据获得模型，并通过获得的模型进行预测的过程。机器学习的模型可以有多种表示，例如线性回归模型，SVM模型，决策树模型，贝叶斯模型。

概率类型

在理解概率模型之前，首先要理解的各种概率类型所表示的确切含义。

1.先验概率

某事件发生的概率。

2.条件概率

在某种条件下，事件A发生的概率，可以是基于历史数据的统计，可以由背景常识得出，也可以是人的主观观点给出。一般都是单独事件概率，如P(x),P(y)。

3.后验概率

条件概率的一种特殊情况，它限定了事件为隐变量取值(不可观测)，而条件为观测结果。

4.联合概率

表示多个事件同时发生的概率。

5.似然概率

条件概率的一种，针对参数而言，意思是某参数(某事件发生的概率)取得某一值得概率。

正向过程(普通概率)：给定参数后，预测即将发生的事件的可能性，以投掷硬币为例，已知一枚均匀硬币，投掷出正反面的概率均为0.5(给出的参数)，求投掷两次硬币都朝上的概率。

逆向过程(似然概率)：给定事件发生的可能性，求解参数为某一值得可能性，以投掷硬币为例，已知一枚均匀硬币，投掷两次都是正面朝上(条件)，求正面朝上的概率为0.5的可能性是多少。

求正面朝上概率为x的似然：

通过计算不同的正面朝上的概率的可能性，可以得到一条似然函数曲线：

似然函数曲线

最大似然概率，最大似然概率，在已知观测数据的条件下，找到使似然概率最大的参数值作为真实的参数估计。例如从似然函数曲线中可以得知，当PH=1时，似然函数取得最大值。

预测模型的概率表示

在这里我们假设已有的数据为X，可能出现的结果为Y，每一个可能的结果Y都对应一个给出数据X下的条件概率。

机器学习最终得到的结果是实现该条件的概率的最大化。

决策函数和条件概率

决策函数都是很熟悉了，在线性回归，SVM，神经网络中使用的都是决策函数Y=f(X)，在贝叶斯分类中使用的是条件概率分布P(Y|X)。

条件概率分布模型可表示成决策函数

决策函数中隐含着条件概率

例如在线性回归模型中，通过不断训练是误差平方最小化，而误差平方最小化是根据极大似然假设推导而出的。

所以依据决策函数得到的结果满足极大似然概率，同时满足最大条件概率。

判别式模型和生成式模型

实现上述过程，基于是否对P(x|y)直接操作来区分有两种策略：

判别式模型：由数据直接对P(x|y)或决策函数f(x)进行建模，例如线性回归模型，SVM，决策树等，这些模型都预先制定了模型的格式，所需要的就是通过最优化的方法学到最优参数Θ即可。

生成式模型:这种策略并不直接对P(Y|X)进行建模，而是先对联合概率分布P(X,Y)进行建模，然后依据贝叶斯公式P(Y|X)=P(X,Y)P(X)间接的得到我们所期望的模型P(Y|X)，这种策略最常见的算法就是我们接下来要介绍的贝叶斯分类器算法

python 条件概率_机器学习中的概率问题相关推荐

矩阵分析理论在实际工程中的应用_机器学习中的线性代数
[妹子说]上一篇文章中讲了如何打好机器学习中的概率统计基础,那今天就再来说说线性代数的学习路径和思路吧. 没问题. 线性代数作为利用空间来投射和表征数据的基本工具,可以方便的对数据进行各种变换,从而让 ...
机器学习中用到的概率知识_机器学习中有关概率论知识的小结
一.引言最近写了许多关于机器学习的学习笔记,里面经常涉及概率论的知识,这里对所有概率论知识做一个总结和复习,方便自己查阅,与广大博友共享,所谓磨刀不误砍柴工,希望博友们在这篇博文的帮助下,阅读机器学 ...
louvian算法缺点优化_机器学习中的优化算法(1)-优化算法重要性,SGD,Momentum(附Python示例)...
本系列文章已转至机器学习的优化器zhuanlan.zhihu.com 优化算法在机器学习中扮演着至关重要的角色,了解常用的优化算法对于机器学习爱好者和从业者有着重要的意义. 这系列文章先讲述优化算 ...
python决策树实例_机器学习中的决策树及python实例
一棵树在现实生活中有许多枝叶,事实上树的概念在机器学习也有广泛应用,涵盖了分类和回归.在决策分析中,决策树可用于直观地决策和作出决策.决策树,顾名思义,一个树状的决策模型.尽管数据挖掘与机器学习中常常 ...
python分类分析模型_机器学习中最常见的四种分类模型
作者:Jason Brownlee 翻译:候博学前言机器学习是一个从训练集中学习出算法的研究领域. 分类是一项需要使用机器学习算法的任务,该算法学习如何为数据集分配类别标签. 举一个简单易懂的例子 ...
机器学习线性回归学习心得_机器学习中的线性回归
机器学习线性回归学习心得机器学习中的线性回归 (Linear Regression in Machine Learning) There are two types of supervised ma ...
机器学习集群_机器学习中的多合一集群技术在无监督学习中应该了解
机器学习集群 Clustering algorithms are a powerful technique for machine learning on unsupervised data. The ...
深度学习模型在训练集上很好而在测试集表现得不好而拟合次数并不多_机器学习中的过拟合，欠拟合和偏倚方差折衷...
过度拟合在机器学习中很重要. 很直观的解释过拟合:假设我们现在让机器学习考试做题,想象一种情况,机器逐字记住每个问题的答案(拟合非常好-完美).然后,我们可以在练习题上得分很高:我们这样做是基于希望实 ...
bp神经网络预测python代码_机器学习之多层神经网络（附Python代码和数据）
1 引言多层神经网络,Multiple-layers Perceptron (MLP),又被称为多层感知机,是机器学习中深度学习的典型算法.关于多层神经网络的算法原理,我们在Stata和R实现的文章 ...

python 条件概率_机器学习中的概率问题

python 条件概率_机器学习中的概率问题相关推荐

最新文章

热门文章