信号检测与估计第一章

假设检验（Hypothesis Test）
- 理论
- 简单数学模型
双择检测(Binary Hypothesis Test)问题
- 代价因子定义：
- 双择检验可以利用的条件
- 双择检验：平均风险
- - 给定x\bf xx的情况
  - 给定HiH_iHi的情况
- 贝叶斯准则(Bayes Criterion)
- 两种错误概率
- 最小错误概率与最大后验准则(MAP)
总结

本课程使用数目是张明友《信号检测与估计》

假设检验（Hypothesis Test）

理论

已知信号S(t)S(t)S(t)有MMM个状态（即为M个假设），对接收的信号（样本值）进行处理（在时间范围[0,T][0, T][0,T])。根据某个准则，作出判决哪个为真，且可得到此判决为正确的概率。

以上摘自老师PPT，我认为上述都是废话。

简单数学模型

源 (Source): 称源的输出为假设（Hypotheses）
概率转移机制（Probabilistic Transition Mechanism）
观测空间（Observation Space）.我们经常设为XXX,观测空间中的点为：x\mathbf xx, ∀x∈X\forall\mathbf x\in X∀x∈X
判决准则（Decision Rule）

又是大实话。。。

双择检测(Binary Hypothesis Test)问题

信息传输系统，信息发送端只有两种状态(H0H_0H0和H1H_1H1),在接收到x(t)x(t)x(t)的条件下，可以作出两种判决(D0D_0D0和D1D_1D1)。
我们规定了一个代价因子来计算错误的’代价’，利用代价的最小化来让判定最优化：

代价因子定义：

CijC_{ij}Cij表示假设HjH_jHj为真，却选择了假设HiH_iHi的代价，称为代价因子（cost factor）。

代价因子一般为人为规定的，在考试中，一般上会将CijC_{ij}Cij给出。

双择检验可以利用的条件

在双择检测中，有i,j∈{0,1}i,j\in \{0,1\}i,j∈{0,1}
我们可以利用如下的条件让判决最优化：

代价因子
先验概率 p(H0)p(H_0)p(H0)和p(H1)p(H_1)p(H1): 也就是我们知道的各个假设出现的概率
噪声的统计特性p(n)p(n)p(n)
信号的波形 s0(t)s_0(t)s0(t)和s1(t)s_1(t)s1(t)

双择检验：平均风险

给定x\bf xx的情况

这种情况就是：已经接收到了信号，进行判决而产生的风险。
给定x\bf xx,判为D1D_1D1的平均代价
r(D1∣x)=C10P(H0∣x)+C11P(H1∣x)r(D_1|\mathbf x)=C_{10}P(H_0|\mathbf x)+C_{11}P(H_1|\bf x) r(D1∣x)=C10P(H0∣x)+C11P(H1∣x)
给定x\bf xx,判为D0D_0D0的平均代价
r(D0∣x)=C00P(H0∣x)+C01P(H1∣x)r(D_0|\mathbf x)=C_{00}P(H_0|\mathbf x)+C_{01}P(H_1|\bf x) r(D0∣x)=C00P(H0∣x)+C01P(H1∣x)
定义平均代价为：
r(x)={r(D0∣x),D0r(D1∣x),D1r(\bf x)= \begin{cases} r(D_0|\mathbf x),\ D_0\\ r(D_1|\mathbf x),\ D_1\\ \end{cases} r(x)={r(D0∣x), D0r(D1∣x), D1
平均风险为：
R=∫xr(x)p(x)dxR=\int_{\bf x}r(\mathbf x)p(\mathbf x)d\mathbf x R=∫xr(x)p(x)dx
这里的p(x)p(\mathbf x)p(x)是某一事件的概率密度，我们将其与平均代价相乘积分就能得到平均风险

给定HiH_iHi的情况

我个人认为本概念就是对源求解判决的风险。
给定H0H_0H0,判决的平均代价
r(H0)=C00P(D0∣H0)+C10P(D1∣H0)r(H_0)=C_{00}P(D_0|H_0)+C_{10}P(D_1|H_0) r(H0)=C00P(D0∣H0)+C10P(D1∣H0)
给定H1H_1H1,判决的平均代价
r(H1)=C01P(D0∣H1)+C11P(D1∣H1)r(H_1)=C_{01}P(D_0|H_1)+C_{11}P(D_1|H_1) r(H1)=C01P(D0∣H1)+C11P(D1∣H1)
平均风险为：
R=r(H0)P(H0)+r(H1)P(H1)=∑i,jCijP(Di,Hj)\begin{aligned} R&=r(H_0)P(H_0)+r(H_1)P(H_1)\\ &=\sum_{i,j}C_{ij}P(D_i,H_j) \end{aligned} R=r(H0)P(H0)+r(H1)P(H1)=i,j∑CijP(Di,Hj)
讲义上说，两种平均风险是一致的：
R=∫xr(x)p(x)dx=∑i,jCijP(Di,Hj)R=\int_{\bf x}r(\mathbf x)p(\mathbf x)d\mathbf x=\sum_{i,j}C_{ij}P(D_i,H_j) R=∫xr(x)p(x)dx=i,j∑CijP(Di,Hj)
说了这么多，我们最终设计判决方法的核心思想就是最小化风险，i.e.min{R}i.e.\ min\{R\}i.e. min{R}。

贝叶斯准则(Bayes Criterion)

我们已知上面列举的四个已知条件，如何进行最优化的判决呢？
以下是推导过程：

思路一：根据平均风险的第一个公式
我们已知p(x)>0p(\mathbf x)>0p(x)>0和r(x)>0r(\mathbf x)>0r(x)>0，根据公式R=∫xr(x)p(x)dxR=\int_{\bf x}r(\mathbf x)p(\mathbf x)d\mathbf xR=∫xr(x)p(x)dx,我们需要最小化p(x)p(\mathbf x)p(x)。而对于双择检验来说，如果已经接收到信号，则意味着我们有两种判定，这样的话，也就只有两种平均风险r(x)=r(D1∣x)r(\mathbf x)=r(D_1|\mathbf x)r(x)=r(D1∣x)或者r(x)=r(D0∣x)r(\mathbf x)=r(D_0|\mathbf x)r(x)=r(D0∣x)。所以我们可以做这样的判决：
r(D1∣x)>D0≤D1r(D0∣x)r(D_1|\mathbf x)^{\overset{D_1}{\leq}}_{\underset{D_0}{>}}r(D_0|\mathbf x) r(D1∣x)D0>≤D1r(D0∣x) 也就是 C10P(H0∣x)+C11P(H1∣x)>D0≤D1C00P(H0∣x)+C01P(H1∣x)C_{10}P(H_0|\mathbf x)+C_{11}P(H_1|\mathbf x)^{\overset{D_1}{\leq}}_{\underset{D_0}{>}}C_{00}P(H_0|\mathbf x)+C_{01}P(H_1|\bf x) C10P(H0∣x)+C11P(H1∣x)D0>≤D1C00P(H0∣x)+C01P(H1∣x) 美观下公式就有： P(H1∣x)P(H0∣x)>D0≤D1C10−C00C01−C11\frac{P(H_1|\mathbf x)}{P(H_0|\mathbf x)}^{\overset{D_1}{\leq}}_{\underset{D_0}{>}}\frac{C_{10}-C_{00}}{C_{01}-C_{11}} P(H0∣x)P(H1∣x)D0>≤D1C01−C11C10−C00 双不等号左边这玩意叫做似然比门限。但是这玩意需要计算后验概率(P(Hi∣x)P(H_i|\mathbf x)P(Hi∣x))，我们还要算一遍，不经济。于是我们利用贝叶斯公式：P(Hi∣x)=P(x∣Hi)P(Hi)P(x)P(H_i|\mathbf x)=\frac{P(\mathbf x|H_i)P(H_i)}{P(\mathbf x)}P(Hi∣x)=P(x)P(x∣Hi)P(Hi)我们就可以再次化简： Λ(x)=△P(x∣H1)P(x∣H0)>D0≤D1P(H0)(C10−C00)P(H1)(C01−C11)=△Λ0\Lambda(\mathbf x)\overset{\triangle}{=}\frac{P(\mathbf x|H_1)}{P(\mathbf x|H_0)}^{\overset{D_1}{\leq}}_{\underset{D_0}{>}}\frac{P(H_0)(C_{10}-C_{00})}{P(H_1)(C_{01}-C_{11})}\overset{\triangle}{=}\Lambda_0 Λ(x)=△P(x∣H0)P(x∣H1)D0>≤D1P(H1)(C01−C11)P(H0)(C10−C00)=△Λ0 Λ(x)\Lambda(\mathbf x)Λ(x)j叫做似然比。
思路二：根据平均风险的第二个公式

该公式为R=r(H0)P(H0)+r(H1)P(H1)R=r(H_0)P(H_0)+r(H_1)P(H_1)R=r(H0)P(H0)+r(H1)P(H1)，我们已知： {r(H0)=C00P(D0∣H0)+C10P(D1∣H0)r(H1)=C01P(D0∣H1)+C11P(D1∣H1)P(D0∣H0)=1−P(D1∣H0)P(D0∣H1)=1−P(D1∣H1)\begin{cases} r(H_0)=C_{00}P(D_0|H_0)+C_{10}P(D_1|H_0)\\ r(H_1)=C_{01}P(D_0|H_1)+C_{11}P(D_1|H_1)\\ P(D_0|H_0)=1-P(D_1|H_0)\\ P(D_0|H_1)=1-P(D_1|H_1) \end{cases} ⎩⎪⎪⎪⎨⎪⎪⎪⎧r(H0)=C00P(D0∣H0)+C10P(D1∣H0)r(H1)=C01P(D0∣H1)+C11P(D1∣H1)P(D0∣H0)=1−P(D1∣H0)P(D0∣H1)=1−P(D1∣H1) 化简可得一个巨长的公式： R=P(H0)C00+P(H1)C01+P(H0)(C10−C00)P(D1∣H0)−P(H1)(C01−C11)P(D1∣H1)R=P(H_0)C_{00}+P(H_1)C_{01}+P(H_0)(C_{10}-C_{00})P(D_1|H_0)-P(H_1)(C_{01}-C_{11})P(D_1|H_1) R=P(H0)C00+P(H1)C01+P(H0)(C10−C00)P(D1∣H0)−P(H1)(C01−C11)P(D1∣H1) 我们寻求一种对样本空间的划分，使得RRR最小，Rmin=RBR_{min}=R_BRmin=RB，这个判决准则即成为贝叶斯准则(Bayes
criterion) 在先验概率已知的情况下，巨长公式的前两项为常数，我们现在讨论后两项。诶！我们给出下面两个公式 P(D1∣H0)=∫R1p(x∣H0)dxP(D1∣H1)=∫R1p(x∣H1)dxP(D_1|H_0)=\int_{R_1}p(\mathbf x|H_0)d_\mathbf x\\ P(D_1|H_1)=\int_{R_1}p(\mathbf x|H_1)d_\mathbf x P(D1∣H0)=∫R1p(x∣H0)dxP(D1∣H1)=∫R1p(x∣H1)dx 第一眼看到会一脸懵逼。

实际上R1R_1R1就是判决为D1D_1D1的输入空间。（思考：和判决空间的区别在哪） 我们将上面两个狮子带入RRR中，则有： R=P(H0)C00+P(H1)C01+∫R1P(H0)(C10−C00)p(x∣H0)dx−∫R1P(H1)(C01−C11)p(x∣H1)dx\begin{aligned} R=&P(H_0)C_{00}+P(H_1)C_{01}\\ +&\int_{R_1}P(H_0)(C_{10}-C_{00})p(\mathbf x|H_0)d_\mathbf x\\ -&\int_{R_1}P(H_1)(C_{01}-C_{11})p(\mathbf x|H_1)d_\mathbf x \end{aligned} R=+−P(H0)C00+P(H1)C01∫R1P(H0)(C10−C00)p(x∣H0)dx∫R1P(H1)(C01−C11)p(x∣H1)dx 考虑到要让积分最小，就需要取R1R_1R1为使积分项为负的区域的并集：

所以我们有 P(H0)(C10−C00)p(x∣H0)−P(H1)(C01−C11)p(x∣H1)≤0P(H_0)(C_{10}-C_{00})p(\mathbf x|H_0)-P(H_1)(C_{01}-C_{11})p(\mathbf x|H_1)\leq 0 P(H0)(C10−C00)p(x∣H0)−P(H1)(C01−C11)p(x∣H1)≤0
经过化简和推论，我们发现和思路一的结果一致！

Λ(x)=△P(x∣H1)P(x∣H0)>D0≤D1P(H0)(C10−C00)P(H1)(C01−C11)=△Λ0\Lambda(\mathbf x)\overset{\triangle}{=}\frac{P(\mathbf x|H_1)}{P(\mathbf x|H_0)}^{\overset{D_1}{\leq}}_{\underset{D_0}{>}}\frac{P(H_0)(C_{10}-C_{00})}{P(H_1)(C_{01}-C_{11})}\overset{\triangle}{=}\Lambda_0 Λ(x)=△P(x∣H0)P(x∣H1)D0>≤D1P(H1)(C01−C11)P(H0)(C10−C00)=△Λ0
即Bayes准则，使总的平均风险最小化
其物理概念为：

两种错误概率

我们有两类错误概率，虚警概率（P(D1∣H0)P(D_1|H_0)P(D1∣H0)）和漏警概率（P(D0∣H1)P(D_0|H_1)P(D0∣H1)）

虚警概率(Probability of False Alarm)
雷达探测系统中称为虚警概率PfP_fPf，通信系统中表征发送0，接收判决为1的错误概率。
漏警概率(Probability of Miss Detection)
雷达探测系统中称为虚警概率PmP_mPm，通信系统中表征发送1，接收判决为0的错误概率。

讲义上有个很复杂的例子，不过很好。

最小错误概率与最大后验准则(MAP)

在已知条件下：

先验概率：P(H1)，P(H0)P(H_1)，P(H_0)P(H1)，P(H0)
正确判决的代价为0，错误判决的代价为1

诶，对了，MAP也就是正确判决的代价为0，错误判决的代价为1的贝叶斯准则！
Λ(x)=△P(x∣H1)P(x∣H0)>D0≤D11−P(H1)P(H1)=△Λ0\Lambda(\mathbf x)\overset{\triangle}{=}\frac{P(\mathbf x|H_1)}{P(\mathbf x|H_0)}^{\overset{D_1}{\leq}}_{\underset{D_0}{>}}\frac{1-P(H_1)}{P(H_1)}\overset{\triangle}{=}\Lambda_0 Λ(x)=△P(x∣H0)P(x∣H1)D0>≤D1P(H1)1−P(H1)=△Λ0
注意了，这个判决似然比贯穿了整个课程，是核心。
在这里最小化Bayes风险变成了最小化平均错误概率，称为最小错误概率准则。（啥是平均错误概率，这两种有什么不同）
在数字通信中，通常假设P(H1)=P(H0)=0.5,Λ0=P(H0)/P(H1)P(H_1)=P(H_0)=0.5,\ \Lambda_0=P(H_0)/P(H_1)P(H1)=P(H0)=0.5, Λ0=P(H0)/P(H1)
所以有：Λ(x)=p(x∣H1)p(x∣H0)>D0≤D11=△Λ0\Lambda(\textbf x)=\frac{p(\textbf x|H_1)}{p(\textbf x|H_0)}^{\overset{D_1}{\leq}}_{\underset{D_0}{>}}1\overset{\triangle}{=}\Lambda_0Λ(x)=p(x∣H0)p(x∣H1)D0>≤D11=△Λ0

总结

代价因子:CijC_{ij}Cij：你只要判别了，就要负泽任的！
平均代价:r(Di∣x)r(D_i|\mathbf x)r(Di∣x): 每种判别付得泽任！
平均风险:RRR: 类似于总共负的泽任的‘期望’。

信号检测与估计（1）相关推荐

信号检测与估计理论 pdf_CVPR2020|行人检测与重识算法推荐论文源码大盘点
本文收集了CVPR 2020 一些行人检测与人员重识别优秀论文,我们知道在视频监控相关领域这些技术方向可以得到很好得广泛应用. 行人检测及人群计数从内容来看主要解决行人与行人.行人与物体间的遮挡透视, ...
信号检测与估计理论 pdf_目标检测的性能上界讨论
加入极市专业CV交流群,与6000+来自腾讯,华为,百度,北大,清华,中科院等名企名校视觉开发者互动交流!更有机会与李开复老师等大牛群内互动! 同时提供每月大咖直播分享.真实项目需求对接.干货资讯汇总 ...
信号检测与估计理论_论文解读 | 利用脑功能连接实现疲劳驾驶检测
©PaperWeekly 原创 · 作者|张玮玮学校|东北大学硕士生研究方向|脑电情绪识别论文标题:Driving Fatigue Recognition with Functional Con ...
[信号检测与估计] 充分性与MVUB
统计信号处理基础 - 估计与检测理论估计部分习题3.7公式推导
统计信号处理基础 - 估计与检测理论估计部分习题3.7公式推导题目证明结论得证题目相信学习信号检测与估计的童鞋们肯定看到过Steven M.Kay大牛的书,非常厚的一本,不得不说,人家的 ...
东南大学数字信号处理实验_【鹏城实验室校招】数字信号处理助理研究员
工作地点:深圳市学历:博士研究生招聘人数:若干一.职位描述 1. 负责微弱信号检测和估计算法的开发设计及优化: 2. 确定算法的评估标准和检测方法,测试和优化系统检测性能: 3. 与上层算法结 ...
matlab华侨大学,闫铮-华侨大学-信息科学与工程学院
闫铮姓名:闫铮学历/学位:博士职称:副教授所属部门:信息学院电子工程系办公室:机电信息大楼B543 联系方式:18650428281 E-mail:zhengyan_bme@outlook. ...
李航《统计学习方法》-----朴素贝叶斯
朴素贝叶斯法naïve Bayes,在naïve的中间字母上其实有两个点,查了一下才发现是法语中的分音符,在发音过程中发挥作用.但这不是重要的,重要的是在这种学习方法中贝叶斯承担了什么样的角色. 首先 ...
清华女生破解北斗？中国最年轻女博导揭秘背后实情
"在安装北斗系统后,我们国家的精确打击,由上千米变到几十米这样一个量级范围,连小动物也被吓坏了":"如果想破解军码系统,我们可能建议一些更简单的方式,那就是造时空穿越机穿 ...
天津商业大学计算机科学学院,天津商业大学信息工程学院
申芳,自动化系教师,工学硕士,教授. 长期从事信息科学与信息技术.信息与系统科学相关工程与技术.电子与通信技术.动力与电气工程等领域的教学与科研工作. 主要研究方向:自动控制理论及其应用.控制系统仿真 ...

信号检测与估计（1）

信号检测与估计第一章

假设检验（Hypothesis Test）

理论

简单数学模型

双择检测(Binary Hypothesis Test)问题

代价因子定义：

双择检验可以利用的条件

双择检验：平均风险

给定x\bf xx的情况

给定HiH_iHi的情况

贝叶斯准则(Bayes Criterion)

两种错误概率

最小错误概率与最大后验准则(MAP)

总结

信号检测与估计（1）相关推荐

最新文章

热门文章

信号检测与估计（1）

信号检测与估计 第一章

假设检验（Hypothesis Test）

理论

简单数学模型

双择检测(Binary Hypothesis Test)问题

代价因子定义：

双择检验 可以利用的条件

双择检验：平均风险

给定x\bf xx的情况

给定HiH_iHi​的情况

贝叶斯准则(Bayes Criterion)

两种错误概率

最小错误概率与最大后验准则(MAP)

总结

信号检测与估计（1）相关推荐

最新文章

热门文章

信号检测与估计第一章

双择检验可以利用的条件

给定HiH_iHi的情况