贝叶斯决策理论和概率密度估计方法

这学期学习了《模式识别》这门课程，刚刚考完试，趁着考试复习的机会把模式识别的基础方法总结了一下了，这一篇的主要内容是转自Angel_Yuaner大神的博客，提供原链接整理如下。

贝叶斯决策理论

贝叶斯决策有两个基本要求
- 各类别总体的概率分布是已知的
- 待决策分类的类别数是一定的
贝叶斯决策时是从样本空间到决策空间的一个映射，贝叶斯决策是所有识别方法的一个基准。
贝叶斯决策论
贝叶斯公式和贝叶斯决策
贝叶斯决策论有两种决策规则：
1. 基于最小错误率贝叶斯决策
2. 基于最小风险的贝叶斯决策

概率密度估计方法

贝叶斯决策中需要先验概率和类条件概率密度，因此需要进行概率密度估计。如果概率密度函数的形式已知，则为参数估计，常见的方法有：

贝叶斯估计
最大似然法

如果概率密度函数的形式未知的，就需要用样本把概率密度函数直接估计出来，这叫做非参数估计。最基本的方法有：

直方图法、K_n邻近法、Parzen窗法

线性判别方法

线性判别主要有三个判别准则，分别是：

Fisher准则：根据两分类样本一般类内聚集，类间分离的特点，寻找线性分类器最佳的法线向量方向，使两类样本在该方向上的投影满足类内尽可能聚集，类间尽可能分离。这种度量通过类内离散矩阵Sw和类间离散矩阵Sb实现。
感知器准则函数：准则函数以使错分样本到分界面距离之和最小为原则，优点是通过错分样本提供的信息对分类器函数进行修正。
支持向量机：基本思想是在两类线性可分条件下，所设计的分类器界面使两类的间隔最大，基本出发点是使期望泛化风险尽可能小。
1. Fisher线性判别
2. 感知器
3. SVM

统计基础知识

正态分布
正态分布也称为高斯分布。客观世界中很多变量都服从或近似服从正态分布，且正态分布具有很好的数学性质，所以正态分布也是人们研究最多的分布之一。
正态分布
协方差
协方差反映了数据不同维度之间的关系，在统计分析中有重要的作用，如PCA中。
协方差
PCA教程

补充之中。。。

贝叶斯决策理论和概率密度估计方法相关推荐

概率密度估计方法-核密度估计和高斯混合分布
1.概率密度估计方法概率密度估计方法用于估计一组数据集的概率密度分布,分为参数估计方法和非参数估计方法. 参数估计方法假定样本集符合某一概率分布,然后根据样本集拟合该分布中的参数,例如:似然估计, ...
机器学习中的概率模型和概率密度估计方法及 VAE生成式模型详解（之二）
简介非监督机器学习(Unsupervised Machine Learning)中的数据分布密度估计(Density Estimation).样本采样(Sampling)与生成(Generation ...
机器学习中的概率模型和概率密度估计方法及VAE生成式模型详解之二（作者简介）...
Brief Introduction of the Blog Author Chief Architect at 2Wave Technology Inc. (a startup company in ...
模式识别—贝叶斯决策理论
绪论模式的两个层次:样本.类别模式的表示:两个识别对象的表示:选择特征来对所识别的对象进行表示,特征选择的好坏对识别对象的难度有很大影响. 每个对象可选择多个特征来表示,这些特征用一个特征向量来 ...
概率密度估计小结--参数估计与非参数估计
通过观测世界得到了一些数据,我们要从这些数据里面去找出规律来认识世界,一般来说,在概率上我们有一个一般性的操作步骤: 1. 观测样本的存在 2. 每个样本之间是独立的 3. 所有样本符合一个概率模型 ...
概率密度估计--参数估计与非参数估计
我们观测世界,得到了一些数据,我们要从这些数据里面去找出规律来认识世界,一般来说,在概率上我们有一个一般性的操作步骤 1. 观测样本的存在 2. 每个样本之间是独立的 3. 所有样本符合一个概率模型 ...
Educoder 机器学习第1关：基于贝叶斯决策理论的分类方法
第1关:基于贝叶斯决策理论的分类方法任务描述本关任务:理解朴素贝叶斯的分类思想,完成编程习题. 相关知识为了完成本关任务,你需要掌握:1.贝叶斯,2.朴素贝叶斯. 贝叶斯朴素贝叶斯是贝叶斯决策 ...
机器学习的统计方法贝叶斯决策理论入门
引言无论你是在建立机器学习模型还是在日常生活中做决定,我们总是选择风险最小的方案.作为人类,我们天生就采取任何有助于我们生存的行动:然而,机器学习模型最初并不是基于这种理解而建立的.这些算法需要经过 ...
基于贝叶斯决策理论的分类器
1.引言模式识别是根据对象特征值将其分类.d个特征组成特征向量x=[x1,···,xd]T,生成d维特征空间,在特征空间一个x称为一个模式样本. Bayes决策理论是用概率统计方法研究决策问题. ( ...

贝叶斯决策理论和概率密度估计方法

贝叶斯决策理论和概率密度估计方法

贝叶斯决策理论

概率密度估计方法

线性判别方法

统计基础知识

贝叶斯决策理论和概率密度估计方法相关推荐

最新文章

热门文章