分布式检测与数据融合：贝叶斯检测理论

本文主要摘选自参考文献 Varshney P K. Distributed Detection and Data Fusion[M]. 1997.(section 2.2)

我们考虑简单的二元假设检验问题。二元假设分别为H0H_0H0以及H1H_1H1。用yyy表示观测变量，可以得到条件概率密度函数为p(y∣Hi),i=0,1p(y|H_i),\ i=0,1p(y∣Hi), i=0,1。两种假设的先验概率分别为P0P_0P0和P1P_1P1。显然，一共有四种可能的检测结果，其中两种为正确判决，两种为错误判决。下面我们为每种情况分配代价，即用Cij,i,j=0,1C_{ij},\ i,j=0,1Cij, i,j=0,1来表示HjH_jHj情况下判决为HiH_iHi的代价。在贝叶斯公式中，判决规则为最小化平均代价。这里的平均代价，或者贝叶斯风险函数，用R\mathcal RR表示，定义为
(1)R=∑i=01∑j=01CijPjP(Hi∣Hj)=∑i=01∑j=01CijPj∫Zip(y∣Hj)dy,\tag{1} \begin{aligned} {\mathcal R}&=\sum_{i=0}^{1}\sum_{j=0}^{1}C_{ij}P_jP(H_i|H_j)\\ &=\sum_{i=0}^{1}\sum_{j=0}^{1}C_{ij}P_j\int_{Z_i}p(y|H_j)dy, \end{aligned} R=i=0∑1j=0∑1CijPjP(Hi∣Hj)=i=0∑1j=0∑1CijPj∫Zip(y∣Hj)dy,(1)其中，ZiZ_iZi为HiH_iHi的判决域。进一步，我们假定ZZZ为总的观测空间，则
(2)R=P0C00∫Z0p(y∣H0)dy+P0C10∫Z−Z0p(y∣H0)dy+P1C01∫Z0p(y∣H1)dy+P1C11∫Z−Z0p(y∣H1)dy.\tag{2} \begin{aligned} {\mathcal R}=&P_0C_{00}\int_{Z_0}p(y|H_0)dy+P_0C_{10}\int_{Z-Z_0}p(y|H_0)dy\\ &+P_1C_{01}\int_{Z_0}p(y|H_1)dy+P_1C_{11}\int_{Z-Z_0}p(y|H_1)dy. \end{aligned} R=P0C00∫Z0p(y∣H0)dy+P0C10∫Z−Z0p(y∣H0)dy+P1C01∫Z0p(y∣H1)dy+P1C11∫Z−Z0p(y∣H1)dy.(2)注意到
∫Zp(y∣Hj)dy=1,j=0,1\int_Zp(y|H_j)dy=1,\ j=0,1 ∫Zp(y∣Hj)dy=1, j=0,1我们对(2)进行整理，可以得到
(3)R=P0C10+P1C11+∫Z0{P1(C01−C11)p(y∣H1)−P0(C10−C00)p(y∣H0)}dy.\tag{3} \begin{aligned} {\mathcal R}=&\quad P_0C_{10}+P_1C_{11}\\&+\int_{Z_0}\left\{P_1(C_{01}-C_{11})p(y|H_1) -P_0(C_{10}-C_{00})p(y|H_0)\right\}dy. \end{aligned} R=P0C10+P1C11+∫Z0{P1(C01−C11)p(y∣H1)−P0(C10−C00)p(y∣H0)}dy.(3)前面两项为固定值。通过将ZZZ中的点分配到Z0Z_0Z0中，从而使得(3)中的积分式为负值，可以最小化风险R\mathcal RR。假定C10>C00C_{10}>C_{00}C10>C00，C01>C11C_{01}>C_{11}C01>C11，最小化后的结果为似然概率比检验(likelihood ratio test, LRT)
(4)p(y∣H1)p(y∣H0)H1><H0P0(C10−C00)P1(C01−C11),\tag{4} \begin{aligned} \frac{p(y|H_1)}{p(y|H_0)}\begin{aligned}H_1\\>\\<\\H_0\end{aligned}\frac{P_0(C_{10}-C_{00})}{P_1(C_{01}-C_{11})}, \end{aligned} p(y∣H0)p(y∣H1)H1><H0P1(C01−C11)P0(C10−C00),(4)进一步可以表示为
(5)Λ(y)H1><H0η,\tag{5} \Lambda(y)\begin{aligned}H_1\\>\\<\\H_0\end{aligned}\ \eta, Λ(y)H1><H0 η,(5)其中
Λ(y)=p(y∣H1)p(y∣H0)\Lambda(y)=\frac{p(y|H_1)}{p(y|H_0)} Λ(y)=p(y∣H0)p(y∣H1)为似然比，
η=P0(C10−C00)P1(C01−C11)\eta=\frac{P_0(C_{10}-C_{00})}{P_1(C_{01}-C_{11})} η=P1(C01−C11)P0(C10−C00)为门限；等效地，我们有对数形式
(6)log⁡Λ(y)H1><H0log⁡η.\tag{6} \log \Lambda(y)\begin{aligned}H_1\\>\\<\\H_0\end{aligned}\ \log\eta. logΛ(y)H1><H0 logη.(6)

对于特殊情况C00=C11=0C_{00}=C_{11}=0C00=C11=0，C01>C10=1C_{01}>C_{10}=1C01>C10=1，正确判决的代价为0，而错误判决的代价为1，此时
(7)R=P0∫Z1p(y∣H0)dy+P1∫Z0p(y∣H1)dy\tag{7} {\mathcal R}=P_0\int_{Z_1}p(y|H_0)dy+P_1\int_{Z_0}p(y|H_1)dy R=P0∫Z1p(y∣H0)dy+P1∫Z0p(y∣H1)dy(7)正好是平均错误概率。此时，贝叶斯检验就是最小化平均错误概率，判决门限η=P0P1\eta=\frac{P_0}{P_1}η=P1P0。如果P0=P1P_0=P_1P0=P1，则η=1\eta=1η=1，log⁡η=0\log \eta =0logη=0，在通信系统中称为最小误差接收机。

下面我们定义虚检概率及误检分别为
(8)PF=P(H1∣H0)=∫Z1p(y∣H0)dy,\tag{8} P_F=P(H_1|H_0)=\int_{Z_1}p(y|H_0)dy, PF=P(H1∣H0)=∫Z1p(y∣H0)dy,(8)以及
(9)PM=P(H0∣H1)=∫Z0p(y∣H1)dy,\tag{9} P_M=P(H_0|H_1)=\int_{Z_0}p(y|H_1)dy, PM=P(H0∣H1)=∫Z0p(y∣H1)dy,(9)则检测概率为
(10)PD=1−PF=P(H1∣H1)=∫Z1p(y∣H1)dy,\tag{10} P_D=1-P_F=P(H_1|H_1)=\int_{Z_1}p(y|H_1)dy, PD=1−PF=P(H1∣H1)=∫Z1p(y∣H1)dy,(10)因此可以将贝叶斯风险函数表示为
(11)R=P0C10+P1C11+P1(C01−C11)PM−P0(C10−C00)(1−PF),\tag{11} {\mathcal R}=P_0C_{10}+P_1C_{11}+P_1(C_{01}-C_{11})P_M-P_0(C_{10}-C_{00})(1-P_F), R=P0C10+P1C11+P1(C01−C11)PM−P0(C10−C00)(1−PF),(11)考虑到P0=1−P1P_0=1-P_1P0=1−P1，有
(12)R=C00(1−PF)+C10PF+P1[(C11−C00)+(C01−C11)PM−(C10−C00)PF].\tag{12} \begin{aligned} {\mathcal R}=&C_{00}(1-P_F)+C_{10}P_F\\ &\quad +P_1[(C_{11}-C_{00})+(C_{01}-C_{11})P_M-(C_{10}-C_{00})P_F]. \end{aligned} R=C00(1−PF)+C10PF+P1[(C11−C00)+(C01−C11)PM−(C10−C00)PF].(12)根据最优判决区域替代PFP_FPF和PMP_MPM的值，可以最小化R\mathcal RR。下面我们采用另外的方法来最小化R\mathcal RR。

根据贝叶斯准则
(13)Pjp(y∣Hj)=P(Hj∣y)p(y),\tag{13} P_jp(y|H_j)=P(H_j|y)p(y), Pjp(y∣Hj)=P(Hj∣y)p(y),(13)其中，yyy的概率密度函数为
(16)p(y)=P0p(y∣H0)+P1p(y∣H1).\tag{16} p(y)=P_0p(y|H_0)+P_1p(y|H_1). p(y)=P0p(y∣H0)+P1p(y∣H1).(16)我们可以把(1)表示为
(17)R=∑i=01∑j=01Cij∫ZiP(Hj∣y)p(y)dy,\tag{17} {\mathcal R}=\sum_{i=0}^{1}\sum_{j=0}^{1}C_{ij}\int_{Z_i}P(H_j|y)p(y)dy, R=i=0∑1j=0∑1Cij∫ZiP(Hj∣y)p(y)dy,(17)交换积分和求和顺序，有
(18)R=∑i=01∫Zi∑j=01CijP(Hj∣y)p(y)dy=∑i=01∫Ziβi(y)p(y)dy,\tag{18} \begin{aligned} {\mathcal R}&=\sum_{i=0}^{1}\int_{Z_i}\sum_{j=0}^{1}C_{ij}P(H_j|y)p(y)dy\\ &=\sum_{i=0}^{1}\int_{Z_i}\beta_i(y)p(y)dy, \end{aligned} R=i=0∑1∫Zij=0∑1CijP(Hj∣y)p(y)dy=i=0∑1∫Ziβi(y)p(y)dy,(18)其中
(19)βi(y)=∑j=01CijP(Hj∣y)\tag{19} \beta_i(y)=\sum_{j=0}^{1}C_{ij}P(H_j|y) βi(y)=j=0∑1CijP(Hj∣y)(19)为观测空间中每个点yyy对应的条件代价。最小化贝叶斯代价R\mathcal RR的最优接收机采用判决准则
(20)β0(y)H1><H0β1(y).\tag{20} \beta_0(y)\begin{aligned}H_1\\>\\<\\H_0\end{aligned}\ \beta_1(y). β0(y)H1><H0 β1(y).(20)
令r(y)r(y)r(y)表示最优接收机的条件代价，则
(21)r(y)=min⁡[β0(y),β1(y)],\tag{21} r(y)=\min[\beta_0(y),\beta_1(y)], r(y)=min[β0(y),β1(y)],(21)利用数学等式
(22)min⁡(a,b)=12(a+b)−12∣a−b∣,\tag{22} \min(a,b)=\frac{1}{2}(a+b)-\frac{1}{2}|a-b|, min(a,b)=21(a+b)−21∣a−b∣,(22)我们将r(y)r(y)r(y)表示为
(23)r(y)=12[β0(y)+β1(y)]−12∣β0(y)−β1(y)∣.\tag{23} r(y)=\frac{1}{2}[\beta_0(y)+\beta_1(y)]-\frac{1}{2}|\beta_0(y)-\beta_1(y)|. r(y)=21[β0(y)+β1(y)]−21∣β0(y)−β1(y)∣.(23)利用β0(y)\beta_0(y)β0(y)以及β1(y)\beta_1(y)β1(y)的定义以及贝叶斯准则
P(Hj∣y)=Pjp(y∣Hj)p(y),P(H_j|y)=\frac{P_jp(y|H_j)}{p(y)}, P(Hj∣y)=p(y)Pjp(y∣Hj),我们可以把(23)表示为
(24)r(y)=12P(y)[P0(C00+C10)p(y∣H0)+P1(C01+C11)p(y∣H1)−∣P1(C01−C11)p(y∣H1)−P0(C10+C00)p(y∣H0∣].\tag{24} \begin{aligned} r(y)=&\frac{1}{2P(y)}{\Large[} P_0(C_{00}+C_{10})p(y|H_0)+P_1(C_{01}+C_{11})p(y|H_1)\\ &-|P_1(C_{01}-C_{11})p(y|H_1)-P_0(C_{10}+C_{00})p(y|H_0|{\Large]}. \end{aligned} r(y)=2P(y)1[P0(C00+C10)p(y∣H0)+P1(C01+C11)p(y∣H1)−∣P1(C01−C11)p(y∣H1)−P0(C10+C00)p(y∣H0∣].(24)基于(18)以及(21)，可以得到
(25)R=∫Zr(y)p(y)dy.\tag{25} \begin{aligned} {\mathcal R}=\int_{Z}r(y)p(y)dy. \end{aligned} R=∫Zr(y)p(y)dy.(25)将(24)代入(25)，得
(26)Rmin⁡=C0−12∫Z∣(C01−C11)P1p(y∣H1)−(C10−C00)P0p(y∣H0)∣dy,\tag{26} {\mathcal R}_{\min}=C_0-\frac{1}{2}\int_{Z}|(C_{01}-C_{11})P_1p(y|H_1)-(C_{10}-C_{00})P_0p(y|H_0)|dy, Rmin=C0−21∫Z∣(C01−C11)P1p(y∣H1)−(C10−C00)P0p(y∣H0)∣dy,(26)其中
C0=12(C00+C10)P0+12(C01+C11)P1.C_0=\frac{1}{2}(C_{00}+C_{10})P_0+\frac{1}{2}(C_{01}+C_{11})P_1. C0=21(C00+C10)P0+21(C01+C11)P1.特殊情况下，C00=C11=0C_{00}=C_{11}=0C00=C11=0，C01=C10=1C_{01}=C_{10}=1C01=C10=1，我们得到
(27)Rmin⁡=12−12∫Z∣P1p(y∣H1)−P0p(y∣H0)∣dy.\tag{27} {\mathcal R}_{\min}=\frac{1}{2}-\frac{1}{2}\int_{Z}|P_1p(y|H_1)-P_0p(y|H_0)|dy. Rmin=21−21∫Z∣P1p(y∣H1)−P0p(y∣H0)∣dy.(27)由此得到最优贝叶斯检测系统的最小可达错误率，称为Kolmogorov variational distance。

分布式检测与数据融合：贝叶斯检测理论相关推荐

BPR：面向隐偏好数据的贝叶斯个性化排序学习模型
转自博客:https://blog.csdn.net/qq_20599123/article/details/51315697 BPR面向隐偏好数据的贝叶斯个性化排序学习模型摘要引言相关研究个 ...
清华大学计算机科学与技术系朱军教授：机器学习里的贝叶斯基本理论、模型和算法...
雷锋网［AI科技评论］按:3月3日,中国人工智能学会AIDL第二期[人工智能前沿讲习班]在北京中科院自动化所举行,本期讲习班的主题为[机器学习前沿].周志华教授担任学术主任,前来授课的嘉宾均为中国机器 ...
清华大学计算机科学与技术系朱军教授：机器学习里的贝叶斯基本理论、模型和算法
[转] http://www.leiphone.com/news/201703/djm3u9LLqylr3C8N.html 雷锋网［AI科技评论］按:3月3日,中国人工智能学会AIDL第二期[人工智能 ...
机器学习里的贝叶斯基本理论、模型和算法
本文转自中国人工智能学会通讯第3期,已获授权,特此感谢! 欢迎人工智能领域技术投稿.约稿.给文章纠错,请发送邮件至heyc@csdn.net 3月3日,中国人工智能学会AIDL第二期[人工智能前沿讲习 ...
从贝叶斯滤波理论到容积卡尔曼滤波算法（CKF）详细推导及编程实现常转弯率模型估计。（matlab）
容积卡尔曼滤波(CKF)是由加拿大学者Arasaratnam和Haykin在2009年提出的.该算法的核心思想是针对非线性高斯系统,通过三阶球面径向容积准则来近似状态的后验均值和协方差,以保证在理论上 ...
贝叶斯软件genle教程_手把手教你用R的gemtc包对生存数据进行贝叶斯网状Meta分析...
大家好,本教程将介绍如何使用R的gemtc包对生存数据(HR为效应量)进行贝叶斯网状Meta分析. 前提条件: 需要下载R软件(推荐使用的R版本为3.5.3),以及RStudio(一个R的友好交互界面 ...
Python 决策树与贝叶斯相关理论知识和例题
目录 ID3算法例题贝叶斯例1 例2 朴素贝叶斯例题参考信息有顺序排列,意思明确信息无序,意思多描述信息的混乱度用信息熵 ID3算法将无序的数据变得更加有序. 信息熵计算公式信息增 ...
《Web安全之机器学习入门》笔记：第七章 7.6朴素贝叶斯检测DGA域名
DGA(域名生成算法(Domain Generation Algorithm)是一种僵尸网络利用随机字符来生成C&C域名,从而逃避安全设备域名黑名单检测的技术手段. 1.白样本 ...
《Web安全之机器学习入门》笔记：第七章 7.5朴素贝叶斯检测WebShell（二）
1.检测web shell的改进 (1)分词token 7.4节中web shell(一)中token_pattern=r'\b\w+\b' 本节中web shell(二)中r_token_patte ...
【视频】线性回归中的贝叶斯推断与R语言预测工人工资数据|数据分享
最近我们被客户要求撰写关于线性回归的研究报告,包括一些图形和统计输出. 在这个视频中,我们转向简单线性回归中的贝叶斯推断. 我们将使用一个参照先验分布,它提供了频率主义解决方案和贝叶斯答案之间的联系. ...

分布式检测与数据融合：贝叶斯检测理论

分布式检测与数据融合：贝叶斯检测理论相关推荐

最新文章

热门文章