模式识别学习笔记——第2章统计学习方法

根据场合的不同，我们的决策可能不仅仅是错误率，还有可能是决策错误带来的风险。所谓最小风险贝叶斯决策，就是考虑各种错误造成损失不同时的一种最优决策。

下面用决策论的数学符号表示最小风险贝叶斯决策问题：

把样本 $\vec{x}$ 看作是由d个特征成员组成的d维随机向量 $x=[x_1, x_2, ...,x_d]^T$

状态空间 $\Omega =\{w_1,w_2,...,w_c\}$

对随机向量 $\vec{x}$ 可采取的决策组成了决策空间，它由k个决策组成 $A=\{a_1,a_2,...,a_k\}$

值得注意的是，状态空间和决策空间不一定是一一对应的，即不一定有k=c。什么意思呢？比如，有时除了将样本 $\vec{x}$ 决策为某一类别，还可能对一些样本 $\vec{x}$ 做出拒绝的决策；有时亦可能在决策时把几类合并成为同一个大类；等多种情况。

设对于实际状态为 $w_j$ 的样本 $\vec{x}$ ，采取决策 $a_i$ 所带来的损失记为：

$\lambda (a_i,w_j),\quad i=1,...,k, \quad j=1,...,c$

上式称作损失函数。通常用表格形式给出，也称决策表：

图片截至《模式识别（第三版）》决策表

决策表是需要人为确定的，决策表不同会导致决策结果的不同。因此，在实际应用中，需要认真分析所研究问题的内在特点和分类的目的，与应用领域的专家共同设计出适当的决策表，才能保证模式识别发挥有效作用。

对于某个样本 $\vec{x}$ ，对它采取决策 $a_i$ 的期望损失是：

$R(a_i|\vec{x})=E[\lambda(a_i,w_j)|\vec{x}]=\sum_{j=1}^{c}\lambda(a_i,w_j)p(w_j|\vec{x})\quad i=1,...,k$

如果对概率论不太熟悉，可以参照下面这个离散的条件期望公式：

$E(X|Y=y)=\sum_{x} xP(x|y)$

设有一个决策规则 $a(x)$ ，这个函数对特征空间中所有的样本 $\vec{x}$ 采取决策所造成的期望损失是：

$R(a)=\int R(a(\vec{x})|\vec{x})p(\vec{x})d\vec{x}$

$R(a)$ 称作平均风险或期望风险。最小化风险贝叶斯决策就是最小化这一期望风险，即

$min_a{R(a)}$

可以看出 $p(\vec{x})$ 已知，是一个定值，不需要关注。要使积分最小，那么就应该让函数 $a(\vec{x})$ 在定义域内使得 $R(a(\vec{x})|\vec{x})$ 最小。

有了上面这张图就会好理解很多，这张图的样本是一个一维的x，这样比较好理解。很坐标是所有样本值，纵坐标是期望损失。范围在0到 $t_1$ ，有三种决策，很容易得出决策 $a_1$ 期望损失最小，因此此时应该使用决策 $a_1$ 。最小风险贝叶斯决策就是

若 $R(a_i|\vec{x})=minR(a_j|\vec{x}) \quad j=1,...,k$ ，则 $a=a_i$

理论说完之后，就要应用在实际问题之中。我们可以按照以下步骤计算：

利用贝叶斯公式计算后验概率 $p(w_i|x)$

利用决策表，计算期望损失（条件风险）

$R(a_i|\vec{x})=E[\lambda(a_i,w_j)|\vec{x}]=\sum_{j=1}^{c}\lambda(a_i,w_j)p(w_j|\vec{x})\quad i=1,...,k$

在各种决策中选择风险最小的决策，即：

$a=argminR(a_i|x)$

模式识别学习笔记——第2章统计学习方法—2.3最小风险贝叶斯决策相关推荐

模式识别学习笔记——第2章统计学习方法-2.5 正态分布时的统计决策
要学习正态分布有关的统计决策,正态分布相关的知识肯定是必不可少的!!!对于大多数同学来说,一维的正态分布应该是没什么问题,但是一旦涉及多维的正态分布,立刻就傻眼了.书本上对正态分布和性质的回顾,只能说 ...
模式识别学习笔记——第2章—2.4 两类错误率、Neyman-Pearson决策与ROC曲线
上一节学习了决策表,这一节我们在只有两类情况的决策表中继续深入研究.假设现在我们有两类状态分别是阳性和阴性.可以绘制出如下的决策表: 截至<模式识别(第三版)>阳性阴性状态与决策的可能性关 ...
复现经典：《统计学习方法》第1章统计学习方法概论
本文是李航老师的<统计学习方法>[1]一书的代码复现. 作者:黄海广[2] 备注:代码都可以在github[3]中下载. 我将陆续将代码发布在公众号"机器学习初学者", ...
数字图像识别学习笔记（第二章-数字图像基础（1））
title: 数字图像识别学习笔记(第二章数字图像基础(1)) categories: 数字图像识别 tags: 数字图像识别 date: 2020/9/30 21:22 mathjax: true ...
模式识别学习笔记（1）——基本概念
模式识别学习笔记--绪论一.从数据集D中产生训练集S和测试集T,主要有以下方法: --hold-out(留出法) --cross-validation(交叉验证法) --bootstrapping( ...
《统计学习方法》读书笔记第1章: 统计学习及监督学习概论
第1章: 统计学习及监督学习概论统计学习(statistical learning)是关于计算机基于数据构建概率统计模型并运用模型对数据进行预测与分析的一门学科,也称为统计机器学习(statstic ...
第1章统计学习方法概论之1.1统计学习
1统计学习(也称统计机器学习) 1.1统计学习定义: 统计学习(statistical learning)是关于计算机基于数据构建概率统计模型并运用模型对数据进行预测与分析的一门学科. 统计学习就是计 ...
统计学习笔记（1）——统计学习方法概论
1.统计学习统计学习是关于计算机基于数据构建概率统计模型并运用模型对数据进行预测与分析的一门学科,也称统计机器学习.统计学习是数据驱动的学科.统计学习是一门概率论.统计学.信息论.计算理论.最优化理 ...
统计学习方法学习笔记（1）统计学习方法及监督学习理论
统计学习方法及监督学习理论 1.1.统计学习 1.1.1.统计学习的特点 1.1.2.统计学习的对象 1.1.3.统计学习的目的 1.1.4.统计学习的方法 1.1.5.统计学习的研究 1.1.6.统 ...

模式识别学习笔记——第2章统计学习方法—2.3最小风险贝叶斯决策

模式识别学习笔记——第2章统计学习方法—2.3最小风险贝叶斯决策相关推荐

最新文章

热门文章

模式识别学习笔记——第2章 统计学习方法—2.3最小风险贝叶斯决策

模式识别学习笔记——第2章 统计学习方法—2.3最小风险贝叶斯决策相关推荐

最新文章

热门文章

模式识别学习笔记——第2章统计学习方法—2.3最小风险贝叶斯决策

模式识别学习笔记——第2章统计学习方法—2.3最小风险贝叶斯决策相关推荐