最小错误率贝叶斯决策的基本思想_机器学习笔记—模式识别与智能计算（四）基于概率统计的贝叶斯分类器设计（贝叶斯决策）...

系列文章：

机器学习笔记—模式识别与智能计算（一）模式识别概述

机器学习笔记—模式识别与智能计算（二）特征的选择与优化

机器学习笔记—模式识别与智能计算（三）模式相似性测度

同类文章：

机器学习笔记—模式分类（一）贝叶斯决策论

机器学习笔记—模式分类（二）参数判别估计法（最大似然估计和贝叶斯参数估计）1

1、贝叶斯决策基本概念

分类器参数的选择或学习过程得到的结果取决于设计者选择什么样的准则函数，不同准则函数的最优解对应不同的学习结果，得到性能不同的分类器。

分类的可能性可用P(w1|x)表示，如何做出合理的判决就是贝叶斯决策要讨论的问题，核心是根据各类先验概率P(w1)及类条件概率密度函数p(x|w1)，计算出样品的后验概率P(w1|x)

其中具有代表性的是基于最小错误率的贝叶斯决策与基于最小风险的贝叶斯决策。

贝叶斯公式反映了后验概率与先验概率、似然函数（有的地方把它称为类条件概率密度函数）之间的关系：

根据贝叶斯公式可以将分类判别的后验概率计算转换为先验概率（通常容易求出）和似然函数/类条件概率密度函数的计算问题，如果函数服从已知的分布只是参数未知，则可以进一步转换为估计该概率分布的相关参数问题（属于极大似然方法）。

2、基于最小错误率的贝叶斯决策

基于最小错误率的贝叶斯决策就是按后验概率的大小判决的，看代表哪个类别后验概率的判决函数值最大，就归于哪个类别。

判决函数的形式除了后验概率形式，利用贝叶斯公式还有似然比形式、对数形式，可以互相转换。

可以证明，贝叶斯决策具有最小的平均错误率（各类判决错误情况对应的错误率之和）

3、基于最小风险的贝叶斯决策

（1）相关定义

自然状态与状态空间：自然状态该指待识别对象的类别，状态空间指由所有自然状态/类别wi组成的空间。

决策与决策空间：决策论中的决策指对分类问题所做的判决，由所有决策组成的空间称为决策空间；决策不仅包括根据观测值将样品归到哪一类别，还可以包括其他决策比如“拒绝”等，而在不考虑“拒绝”的情况下，决策空间内决策总数等于类别数M，表示为

A={α1, α2,..., αM}。

损失函数：损失函数λ(αi,j)表示真实自然状态/类别为wj，但做出决策αi使其归属于自然状态/类别wi所造成的损失。

条件风险：待分类样本X的期望损失

R(αi|X)=Σλ(αi,j)P(wj|X)，j=1,2,..,M

（2）最小风险贝叶斯决策

............

更多内容详见：https://blog.csdn.net/firemonkeycs/article/details/108905192

最小错误率贝叶斯决策的基本思想_机器学习笔记—模式识别与智能计算（四）基于概率统计的贝叶斯分类器设计（贝叶斯决策）...相关推荐

机器学习：基于概率的朴素贝叶斯分类器详解--Python实现以及项目实战
前言前篇基础理论知识:机器学习:贝叶斯分类器详解(一)-贝叶斯决策理论与朴素贝叶斯这篇主要使用代码实现贝叶斯分类. 一.准备数据创建一个bayes.py程序,从文本中构建词向量,实现词表向向量转 ...
【机器学习笔记37】模糊聚类分析（基于最大生成树）
[参考资料] [1]<模式识别与智能计算的MATLAB技术实现> [2]<模糊数学方法及其应用> [3]https://baike.baidu.com/item/Kruskal ...
最小错误率贝叶斯决策的基本思想_太赞了！机器学习基础核心算法：贝叶斯分类！(附西瓜书案例及代码实现)...
Datawhale 作者:尹晓丹,Datawhale优秀学习者寄语:首先,简单介绍了生成模型和判别模型,对条件概率.先验概率和后验概率进行了总结:其次,对朴素贝叶斯的原理及公式推导做了详细解读:再次 ...
最小错误率贝叶斯决策的基本思想_最小错误率贝叶斯决策
在一般的模式识别问题中,人们往往希望尽量减少分类的错误,即目标是追求最小的错误率.其中利用概率论中贝叶斯公式得到的分类决策被称之为最小错误率贝叶斯决策. 问题引入在某个地区中人们常对细胞中某一种物质 ...
python网格搜索核函数_机器学习笔记——模型调参利器 GridSearchCV（网格搜索）参数的说明...
算法数据结构机器学习笔记--模型调参利器 GridSearchCV(网格搜索)参数的说明 GridSearchCV,它存在的意义就是自动调参,只要把参数输进去,就能给出最优化的结果和参数.但是这个 ...
matlab算法用python做_机器学习笔记—朴素贝叶斯算法实现(matlab/python)
原理知道一百遍不如自己动手写一遍,当然,现在基本上不需要自己来写算法的底层code了,各路大神们已经为我等凡夫俗子写好了,直接调用就行. 这里介绍在MATLAB中和Python中应用贝叶斯算法的小例子 ...
pandas中drop用法_机器学习笔记：Pandas的delete、drop函数的用法
机器学习笔记:Pandas的delete.drop函数的用法目录drop函数 Axis(轴)含义 drop用法实验 delete函数 drop函数 DataFrame.drop(labels=Non ...
机器学习笔记之玻尔兹曼机(三)梯度求解(基于平均场理论的变分推断)
机器学习笔记之玻尔兹曼机--基于平均场推断梯度求解引言回顾:玻尔兹曼机模型参数梯度求解困难与MCMC方法的处理方式变分推断方法处理玻尔兹曼机对数似然梯度引言上一节介绍了使用马尔可夫链蒙特卡洛 ...
机器学习笔记之马尔可夫链蒙特卡洛方法(四)吉布斯采样
机器学习笔记之马尔可夫链蒙特卡洛方法--吉布斯采样引言回顾:MH采样算法基于马尔可夫链的采样方式细致平衡原则与接收率 MH采样算法的弊端吉布斯采样方法吉布斯采样的采样过程吉布斯采样的推导 ...

最小错误率贝叶斯决策的基本思想_机器学习笔记—模式识别与智能计算（四）基于概率统计的贝叶斯分类器设计（贝叶斯决策）...

最小错误率贝叶斯决策的基本思想_机器学习笔记—模式识别与智能计算（四）基于概率统计的贝叶斯分类器设计（贝叶斯决策）...相关推荐

最新文章

热门文章