《模式识别》自学笔记——（三）统计决策

---恢复内容开始---

统计决策方法

看一个简单的例子。

假设我手里握着一枚硬币，让你猜是多少钱的硬币，这可以看做一个分类决策的问题：你需要从各种可能的硬币中做出一个决策，如果我告诉你这枚硬币只可能是一角或者五角，这就是一个两类的分类问题。

在没有任何关于这枚硬币任何信息的情况下，有人可能猜这是一枚一脚的硬币，因为他在最近一段时间以来接触到的一角硬币比五角多。

这个决策过程是有理论依据的：他实际是通过对所接触过的硬币的概率做出粗略分析，认为出现一角硬币的概率比五角硬币的概率大，然后选择了概率较大的决策。（这个思路其实很好理解，就像现在我手里握着一枚硬币，然后让你猜这枚硬币，你几乎不会认为这枚硬币是一分的，因为现在一分的硬币太少了，甚至一角的也很少）

如果把硬币记为x，把一角和五角这两类分别记为$w_1$和$w_2$，用$P(w_1)和P(w_2)$分别表示两类的概率，这一决策规则可以表示为

$$决策一：如果P(w_1)>P(w_2)，则x {\in} w_1；反之则x {\in} w_2$$

接下来我们看一下使用该决策带来的犯错误概率。

如果判断$x {\in} w_1$，那么犯错误的概率就是$P(error)=1-P(w_1)=P(w_2)$，这里犯错误的概率可以理解为实际上$x {\in} w_2$的可能性，如果$x {\in} w_2$的可能性越大，那么犯错误的概率也会越大。

我们可以看到决策一的准则实际上是最小错误率准则，而且对每一枚硬币都按照错误概率最小的原则进行决策，那么这种决策在所有可能出现的独立样本上错误率最小。

上面说的概率是没有对样本进行任何的观察与测量，完全取决于个人的看法，是先验概率。

下面假如不允许你看硬币，但是允许用天平来称量硬币的重量，让你根据重量来做决策。

把硬币的重量记为$x$，现在我们应该去估计在已知硬币重量为$x$的情况下，硬币属于各类的概率，即$P(w_1|x)和P(w_2|x)$，称为后验概率。通过比较它们的大小来做出决策：

$$决策二：如果P(w_1|x)>P(w_2|x)，则x {\in} w_1；反之则x{\in} w_2$$

在这种决策下，如果$x {\in} w_1$，那么犯错误的概率就是$P(error)=1-P(w_1|x)=P(w_2|x)$，所以决策二仍然是最小错误率的决策。

如何求$P(w_1|x)$呢，我们可以通过贝叶斯公式来进行求解：

$$P(w_1|x) = \frac{p(w1,x)}{p(x)}=\frac{p(x|w_1)*P(w_1)}{p(x)}$$

其中$P(w_1)$称为先验概率，$p(x|w_1)$称为类条件密度，即给定类别w1下，x的概率密度。

这就是贝叶斯决策：在类条件概率密度和先验概率已知的情况下，通过贝叶斯公式比较样本属于两类的后验概率，将类别决策为后验概率较大的一类。

对两类问题，在样本x上错误的概率为

$$P(e|x) = \left\{\begin{matrix}
P(w_2|x)\ \ \ \ 做出的决策为x{\in}w_1\\
P(w_1|x)\ \ \ \ 做出的决策为x{\in}w_2
\end{matrix}\right.$$

错误率定义为所有服从同样分布的独立样本上错误概率的期望，即

$$P(e) = \int P(e|x)p(x)dx$$

这里，用$\int $表示在特征x的全部取值空间做积分。

---恢复内容结束---

转载于:https://www.cnblogs.com/victory-brave/p/11175265.html

《模式识别》自学笔记——（三）统计决策相关推荐

nios自学笔记三：nios常用外设C函数整理
该文章为Nios II学习中的外设C函数收集整理笔记,长期更新. 提示:以下是本篇文章正文内容,下面案例可供参考一.PIO读写 1.1 对PIO进行写操作 (1)利用给定的宏定义函数,函数原型如下: ...
微信小程序开发自学笔记 —— 三、理解小程序宿主环境
理解小程序宿主环境小程序可以调用宿主环境提供的微信客户端的能力. 渲染层和逻辑层小程序的运行环境分成渲染层和逻辑层,WXML模板和WXSS样式工作在渲染层,JS 脚本工作在逻辑层. 小程序如何把脚 ...
【Spring Data JPA自学笔记三】Spring Data JPA的基础和高级查询方法
文章目录调用接口的基础方法查询 Repository CrudRepository PagingAndSortingRepository JPARepository JpaSpecification ...
中值滤波_Halcon联合C#编程自学笔记三之中值滤波
[前言] 在图像预处理过程中有中值滤波.均值滤波.高斯滤波等,本次主要研究中值滤波.中值滤波是消除图像噪声最常见的手段之一,特别是消除椒盐噪声,中值滤波比均值滤波更好.它的基本原理是计算出数字图像中的 ...
Photoshopcs6 自学笔记三画笔工具
制作笔刷首先选中要制作成笔刷的图像 1.使用多边形套索工具或者画笔工具选中要制作成笔刷的图像 2.选择编辑,后填写画笔名称然后选中画笔工具就可以画出笔刷中的鲸鱼图像如图所示: 保存制作的画笔编辑 ...
Python自学笔记6：实操案例三（十进制转换二、八、十六进制），手机充值，计算能量消耗，预测未来子女身高
Python自学笔记6:实操案例三(十进制转换二.八.十六进制),手机充值,计算能量消耗,预测未来子女身高杨淑娟老师网课传送门(非广告):https://www.bilibili.com/video ...
自学《STM32不完全手册》的笔记三
自学<STM32不完全手册>的笔记三 MDK固件库快速组织代码例:初始化某个 GPIO 端口定义 GPIO 初始化函数为: void GPIO_Init(GPIO_TypeDef* G ...
基于 Java 机器学习自学笔记（第61-62天：ID3决策树）
注意:本篇为50天后的Java自学笔记扩充,内容不再是基础数据结构内容而是机器学习中的各种经典算法.这部分博客更侧重于笔记以方便自己的理解,自我知识的输出明显减少,若有错误欢迎指正! 目录一.关于决 ...
JAVA自学笔记24
JAVA自学笔记24 1.能使用同步代码块就使用同步代码块,除非锁对象是this,就可以考虑使用同步方法.静态方法的锁是类的字节码对象. 2.JDK5新特性 1)接口Lock void Lock()/ ...
JAVA自学笔记22
JAVA自学笔记22 1.操作基本数据类型的流 DataInputStream DataOutputStream 数据输出流允许应用程序以适当方式将基本的Java数据类型写入输出流中.然后,应用程序可 ...

《模式识别》自学笔记——（三）统计决策

统计决策方法

《模式识别》自学笔记——（三）统计决策相关推荐

最新文章

热门文章