7.3 最优检测器设计及假性检验

二值假设检验

检测问题
随机检测器
检测概率矩阵
检测器设计的多准则表述
标量化

检测问题：

假设X是随机变量，在 $\left \{ 1,2\cdots n \right \}$ 中取值，其概率密度分布和参数 $\theta\in\left \{ 1,2,\cdots ,m \right \}$ 的取值有关，对 $\theta$ 的m个可能值，X的概率密度分布可以由矩阵 $P \in R^{n\times m}$ 表征，其元素为： $p_{kj}=prob(X=k|\theta =j)$ ，即矩阵的第j列对于参数值 $\theta =j$ 的概率分布。

对 $\theta$ 的m个可能值称为m个假设，我们需要从假设中猜想哪个是正确的，这个问题称为假设检验，而假设检验也可以看成观测到X的某个取值，然后判断不寻常事件（某种假设为一种常规事件，而其他假设均对应不寻常事件）是否发生，如果发生了，是哪一个不寻常事件。于是假设检验问题又称为检测问题。

二值假设检验，即一种特殊的检验问题，即m=2，只有两个假设。这里X是随机变量，且 $X\in \left \{ 1,2,\cdots,n \right \}$ ，假设1：X由概率密度分布 $p=(p_1\cdots,p_n)$ 产生；假设2：X由概率密度分布 $q=(q_1\cdots,q_n)$ 产生；

随机检测器

随机检测器可以定义为一个矩阵 $T \in R^{m\times n}$ ，其元素为 $t_{ik}=prob(\hat{\theta}=i|X=k)$ ，其中 $\hat{\theta}$ 是 $\theta$ 的猜想值，k是X的观测值。T可以理解为，如果我们得到观测值X=k，那么检测器以概率 $t_{ik}$ 给出估计值 $\hat{\theta}=i$ 。显然T满足两个约束， $\forall k \in \left\{1,\cdots m \right \}t_k\succeq 0,\boldsymbol{1}^Tt_k=1$ 。

在二值假设检验中：如果观测到X=k，估计假设1的概率为 $t_{1k}$ ，估计假设2的概率为 $t_{2k}$ 。

如果矩阵T的元素要么是0，要么是1，则矩阵T是确定性检测器。

检测概率矩阵

定义检测矩阵D=TP，于是有 $D_{ij}=(TP)_{ij}=prob(\hat{\theta}=i|\theta =j)$ ，即 $D_{ij}$ 是当 $\theta =j$ 时，猜想为 $\hat{\theta}=i$ 的概率。

二值假设检验中：

$D =[Tp \, \, Tq]=\begin{bmatrix} 1-P_{fp} &P_{fn} \\ P_{fp} & 1-P_{fn} \end{bmatrix}$

其中 $P_{fp}$ 表示X是由分布p产生但却被估计为假设2（由分布q产生）的概率， $P_{fn}$ 表示X是由分布q产生但却被估计为假设1（由分p产生）的概率。

检测器设计的多准则表述

对于二值假设检验问题，检测器设计的目标就是极小化 $P_{fp}$ 和 $P_{fn}$ ，即

$minimize \, \, (p_{fp},p_{fn})\\ subject \, \, to \, \, \begin{matrix} t_{1k}+t_{2k}=1,i=1,\cdots ,n \\ t_{ik}\geq 0,i=1,2\, \,k=1, \cdots n \end{matrix}$

而对于一般的假设检验，检测器设计的目标是极小化 $D_{ij},i \neq j$ ，即

$minimize \, \, D_{ij},i\neq j\\ subject \, \, to \, \, t_{ik}\succeq 0,\boldsymbol{1}^Tt_k=1,k=1,\cdots,n$

标量化

对于二值假设检验问题的标量化，即加上一个惩罚权重，即：

$minimize \, \, (Tp)_2+\lambda (Tq)_1 \\ subject \, \, to \, \, t_{1k}+t_{2k}=1,t_{ik}\geq 0,i=1,2 \, \, k=1, \cdots n$

其中 $(Tp)_2$ 表示列向量Tp的第2行的元素。

解析解：

$(t_{1k},t_{2k})=\left\{\begin{matrix} (1,0) & p_k \geq \lambda q_k \\ (0,1) &p_k < \lambda q_k \end{matrix}\right.$

对于一般的假设检验问题的标量化，即引入权系数将目标函数加权求和，即

$\sum_{i,j=1}^mW_{ij}D_{ij}=tr(W^TD)$

其中 $W \in R^{m \times m}$

检验问题等价于：

$minimize \, \, tr(W^TD),i\neq j\\ subject \, \, to \, \, t_{ik}\succeq 0,\boldsymbol{1}^Tt_k=1,k=1,\cdots,n$

目标函数还可以描述为一系列 $t_k$ 的线性函数的和：

$tr(W^TD)=tr(W^TTP)=tr(PW^TT)=\sum_{k=1}^nc_k^Tt_k$

其中 $c_k$ 是 $WP^T$ 的第k列。

于是可以通过分别求解下面的线性规划来求解检验问题。

$minimize \, \, c_k^Tt_k\\ subject \, \, to \, \, t_{ik}\succeq 0,\boldsymbol{1}^Tt_k=1,k=1,\cdots,n$

极小极大检测器

对于二值假设检验，极小极大检测器，即求解：

$minimize \, \, max\left \{ p_{fp},p_{fn} \right \}\\ subject \, \, to \, \, t_{1k}+t_{2k}=1, t_{ik}\succeq 0,i=1,2,k=1,\cdots n$

来源：https://blog.csdn.net/wangchy29/article/details/87465799

凸优化第七章统计估计 7.3 最优检测器设计及假性检验相关推荐

凸优化 matlab-cvx-第十一章ADVANCED TOPICS
注意:在本节中,我们描述了CVX的一些更高级的功能.我们建议你先跳过这一节,直到你对上面描述的基本能力感到满意为止. 11.1消除二次型我们强烈建议的一个特殊的改写是消除二次型- -即像sum _ ...
最优化方法(学习笔记)-第七章统计估计
Statistical estimation Logistic 回归-二分类整体分类思路最大化似然函数最大似然估计MLE 带独立同分布噪音的线性测量模型 viv_ivi是高斯分布 viv_iv ...
凸优化第四章凸优化问题 4.2凸优化
4.2凸优化标准形式的凸优化问题局部最优解与全局最优解可微函数的最优性准则等价的凸问题拟凸优化标准形式的凸优化问题是凸函数,等式约束是仿射函数.则此优化问题是凸优化问题. 也可以写成重 ...
凸优化第五章对偶 5.1 Lagrange对偶函数
5.1 Lagrange对偶函数 Lagrange Lagrange对偶函数最优值的下界例子 Lagrange对偶函数和共轭函数 Lagrange 标准形式的优化问题: 其中,问题的定义域,注意这 ...
凸优化第五章对偶 5.1Lagrange对偶函数
5.1Lagrange对偶函数 Lagrange Lagrange对偶函数最优值的下界例子 Lagrange对偶函数和共轭函数 Lagrange 标准形式的优化问题: 其中,问题的定义域,注意这里 ...
Java 程序性能优化《第一章》Java性能调优概述 1.4小结
Java 程序性能优化<第一章>1.4小结通过本章的学习,读者应该了解性能的基本概念及其常用的参考指标.此外,本章还较为详细的介绍了与性能调优相关的两个重要理论--木桶原理以及Amdah ...
凸优化第三章凸函数 3.1基本性质和例子
3.1基本性质和例子定义扩展值延伸一阶条件二阶条件例子下水平集上境图 Jensen不等式及其扩展不等式定义函数f是凸函数,当f的定义域S是凸集,且严格凸函数: 从几何上来看,如下 ...
凸优化第三章凸函数 3.5 对数-凹函数和对数-凸函数
3.5 对数-凹函数和对数-凸函数定义相关性质定义称函数对数凹,如果是凹函数. 称函数对数凸,如果是凸函数. 函数f是对数凸的当且仅当1/f是对数凹的. 当时,,相当于对log(f)进行扩展值 ...
凸优化第三章凸函数 3.3 共轭函数
3.3 共轭函数定义基本性质定义设函数,定义函数为: 此函数称为f(x)的共轭函数.从3.2节逐点上确界的内容也可以看出,此函数也是的逐点上确界函数,而是关于y的仿射函数,可以将其看成是凸函数 ...
凸优化第三章凸函数 3.3共轭函数
3.3共轭函数定义基本性质定义设函数,定义函数为: 此函数称为f(x)的共轭函数.从3.2节逐点上确界的内容也可以看出,此函数也是的逐点上确界函数,而是关于y的仿射函数,可以将其看成是凸函数, ...

凸优化第七章统计估计 7.3 最优检测器设计及假性检验