复随机变量及高斯熵的概念
文章目录
- 复随机变量
- 复随机信号
- 复随机变量的二阶统计特性
- 圆系数和高斯熵
- 圆系数
- 高斯熵
复随机变量
复随机信号
复随机信号x\bf{x}x的概率分布函数pdf为:
px(x)=px(xr+jxi)p_x({\bf{x}}) = p_x(x_r+jx_i) px(x)=px(xr+jxi)
对函数求其期望值有g:N→CNg:N{\rightarrow}{C^N}g:N→CN,其中复随机信号bfxbf{x}bfx的取值在定义域NNN中。
E(g(x))=E(Re[g(x)])+jE(Im[g(x)])E(g({\bf{x}})) = E(Re[g({\bf{x}})]) + jE(Im[g({\bf{x}})]) E(g(x))=E(Re[g(x)])+jE(Im[g(x)])
一般假设其均值为零。
复随机变量的二阶统计特性
考虑复随机变量x=xr+jxi{\bf{x}}=x_r+jx_ix=xr+jxi的二阶统计特性。简化表示使用两个实数表示xR=[xrT,xiT]Tx_R=[x_r^T,x_i^T]^TxR=[xrT,xiT]T。故其信号的协方差矩阵可以表示为:
CxRxR=E{xRxRT}=[CxrxrCxrxiCxrxiTCxixi]C_{x_{R}x_{R}}=E\left \{x_Rx_R^T \right \}=\begin{bmatrix} C_{x_{r}x_{r}} &C_{x_{r}x_{i}} \\ C_{x_{r}x_{i}}^T & C_{x_{i}x_{i}} \end{bmatrix} CxRxR=E{xRxRT}=[CxrxrCxrxiTCxrxiCxixi]
对于其增强协方差矩阵
Caug=E{xxH}=UNCxRxRUNH=[CxxC~xxC~xx∗Cxx∗]=CaugHC_{aug}=E\left\{ \bm{x} \bm{x}^H\right\}=\bf{U}_NC_{x_{R}x_{R}}\bf{U}_N^H=\begin{bmatrix} C_{xx}&\tilde{C}_{xx} \\ \tilde{C}_{xx}^* & {C}_{xx}^* \end{bmatrix}=C_{aug}^H Caug=E{xxH}=UNCxRxRUNH=[CxxC~xx∗C~xxCxx∗]=CaugH
其中Hermit矩阵有
Cxx=E{xxH}=Cxrxr+Cxixi+j(CxrxiT−Cxixi)=CxxHC_{xx}=E\left\{ \bm{x} \bm{x}^H\right\}=C_{x_rx_r}+C_{x_ix_i}+j(C_{x_rx_i}^T-C_{x_ix_i})=C_{xx}^H Cxx=E{xxH}=Cxrxr+Cxixi+j(CxrxiT−Cxixi)=CxxH
C~xx=E{xxT}=Cxrxr−Cxrxi+j(CxixiT−Cxixi)=C~xxT\tilde{C}_{xx}=E\left\{ \bm{x} \bm{x}^T\right\}=C_{x_rx_r}-C_{x_rx_i}+j(C_{x_ix_i}^T-C_{x_ix_i})=\tilde{C}_{xx}^T C~xx=E{xxT}=Cxrxr−Cxrxi+j(CxixiT−Cxixi)=C~xxT
称C~xx\tilde{C}_{xx}C~xx为伪协方差矩阵,当其为零时,其复信号称为不失真信号,反之为失真信号。
可以得到复信号xxx为不失真信号的充分必要条件为复信号的实部xrx_rxr和虚部xix_ixi的协方差矩阵和伪协方差矩阵均满足Cxrxr=CxixiC_{x_rx_r}=C_{x_ix_i}Cxrxr=Cxixi和Cxrxi=−CxrxiTC_{x_rx_i}=-C_{x_rx_i}^TCxrxi=−CxrxiT
则当其复信号为不失真信号时,其hermit协方差矩阵为
Cxx=2Cxrxr−2jCxrxi=2Cxixi+2jCxrxiTC_{xx}=2C_{x_rx_r}-2jC_{x_rx_i}=2C_{x_ix_i}+2jC_{x_rx_i}^T Cxx=2Cxrxr−2jCxrxi=2Cxixi+2jCxrxiT
同时其如果是一个标量信号时,其信号的方差是虚部方差和实部方差的两倍:
σx2=2σxr2=2σxi2\sigma_x^2=2\sigma_{x_r}^2=2\sigma_{x_i}^2 σx2=2σxr2=2σxi2
当一个复随机变量的概率分布的旋转不变的,则称其为圆的。
可以得到只有当复高斯随机信号xxx为非失真函数且均值为0时其才为圆信号。
圆系数和高斯熵
圆系数
描述圆信号的圆的程度,圆度系数。
近似的求解复信号的非圆度系数和圆度系数:
ρ=E{x2}E{∣x2∣}\rho = \frac{E\left\{x^2\right\}}{E\left\{\left | x^2\right |\right\}} ρ=E{∣x2∣}E{x2}
满足非圆系数0<ρ<10<\rho<10<ρ<1。
当其为圆信号时,E{x2}=0E\left\{x^2\right\}=0E{x2}=0。当非圆程度越高,其E{x2}E\left\{x^2\right\}E{x2}的值就越接近于E{∣x2∣}E\left\{\left | x^2\right |\right\}E{∣∣x2∣∣}的值,非圆系数越接近于1。
高斯熵
根据香农的信息论,信息熵是描述一个信息的信息量大小和信息的不确定性之间的关系。同样地假设一个离散随机变量xxx,其概率密度函数为f(x)f(x)f(x),根据信息论其自信息量为I(x)=−logf(x)I(x)=-\log{f(x)}I(x)=−logf(x),其平均信息量为:
H(x)=−∫f(x)logf(x)dxH(x) = -\int{f(x)\log{f(x)}dx} H(x)=−∫f(x)logf(x)dx
其中H(x)H(x)H(x)被称为随机变量的熵。
对于复随机信号,可以根据上述的定义得到一个含增强协方差矩阵的熵:
H(X)=12log[(πe)2NdetCaug]H(X)=\frac{1}{2}\log{[(\pi e)^{2N}\det{C_{aug}}]} H(X)=21log[(πe)2NdetCaug]
其中,detCaug=det2Cxxdet(1−KKH)=det2Cxx∏n=1N(1−kn2)\det{C_{aug}}=\det^2{C_{xx}}\det{(1-KK^H)}=\det^2{C_{xx}}{\prod_{n=1}^{N}}(1-k_n^2)detCaug=det2Cxxdet(1−KKH)=det2Cxx∏n=1N(1−kn2)
对于一个非圆的复高斯随机信号的熵可以改写为如下公式:
Hnoncir=12log[(πe)2NdetCaug]=log[(πe)2NdetCxx]+12log∏n=1N(1−kn2)H_{noncir}=\frac{1}{2}\log{[(\pi e)^{2N}\det{C_{aug}}]}=\log{[(\pi e)^{2N}\det{C_{xx}}]}+\frac{1}{2}\log{{\prod_{n=1}^{N}}(1-k_n^2)} Hnoncir=21log[(πe)2NdetCaug]=log[(πe)2NdetCxx]+21logn=1∏N(1−kn2)
当复随机信号为圆时,其熵最大。
为了计算的方便和使用,给出另外一个高斯熵的定义方法
- 高斯熵的定义2:假设复随机信号为x=xR+jxI{\bf{x}}=x_R+jx_Ix=xR+jxI,可以得到其熵的定义为:
H(x)≜H(x,x∗)=−E{logp(x,x∗)}H(x)\triangleq H(x,x^*)=-E\left\{\log{p(x,x^*)} \right\} H(x)≜H(x,x∗)=−E{logp(x,x∗)}
将其视为两个独立的随机变量,可以得到其概率密度函数
p(x)=p(x,x∗)=1πdetΠexp(−[xx∗]HΠ−1[xx∗]/2)p(x)=p(x,x^*)=\frac{1}{\pi \sqrt{\det{\Pi} } }exp(-\begin{bmatrix}x\\x^*\end{bmatrix}^H\Pi^{-1}\begin{bmatrix}x\\x^*\end{bmatrix}/2) p(x)=p(x,x∗)=πdetΠ1exp(−[xx∗]HΠ−1[xx∗]/2)
Π=[E{∣x2∣}E{x2}E{(x2)∗}E{∣x2∣}]\Pi = \begin{bmatrix}E\left\{\left | x^2\right |\right\} &E\left\{x^2\right\}\\ E\left\{(x^2)^*\right\}&E\left\{\left | x^2\right |\right\} \end{bmatrix} Π=[E{∣∣x2∣∣}E{(x2)∗}E{x2}E{∣∣x2∣∣}]
其中Π\PiΠ是[x,x∗]T[x,x^*]^T[x,x∗]T的协方差。将上述两式结合可以得到高斯熵的定义:
H(x)≜H(x,x∗)=−E{logp(x,x∗)}=1+log(π)+12[E2{∣x2∣}−∣E{x2}∣2]H(x)\triangleq H(x,x^*)=-E\left\{\log{p(x,x^*)} \right\} \\ =1+\log{(\pi)}+\frac{1}{2}[E^2\left\{\left | x^2\right |\right\} -\left |E\left\{x^2\right\}\right |^2] H(x)≜H(x,x∗)=−E{logp(x,x∗)}=1+log(π)+21[E2{∣∣x2∣∣}−∣∣E{x2}∣∣2]
复随机变量及高斯熵的概念相关推荐
- 信息安全—密码学信息熵信息理论基础—熵的概念(熵、联合熵、条件熵、平均互信息)
数学基础:概率论乘法法则 两个事件相互独立:P(A∩B) = P(A)×P(B) · 意思是事件A和事件B同时发生的概率 = 事件A发生的概率 × 事件B发生的概率 · · 举个栗子:掷两枚硬币硬币同 ...
- 2022宋涛宋妍君李凯博许孟如--讨论熵的概念与性质
提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档 文章目录 前言 一.熵是什么? 二.熵的性质 1.条件熵 2.联合熵 3.互信息 4.相对熵 总结 前言 克劳德·艾尔伍德·香农(英语 ...
- matlab 高斯混合模型 多分类,matlab – 了解高斯混合模型的概念
如果您先看看 GMM型号代表什么,我认为这将有所帮助.我将从 Statistics Toolbox使用 functions,但您应该能够使用VLFeat做同样的事情. 我们从两个一维normal di ...
- 噪声、高斯噪声的概念区分与分类
占坑... 一.噪声 噪声就是干扰,在电信号中的表现就是:电路或系统中不含信息量的电压或电流. 在工业与自然界中,存在着各种干扰源/噪声源,如大功率电子电器的接入.大功率用电设备的开启与断开.雷击闪电 ...
- 独家 | 熵–数据科学初学者必知的关键概念(附链接)
作者:SETHNEHA 翻译:刘思婧 校对:王可汗 本文约3700字,建议阅读18分钟. 本文为大家介绍了熵的概念.计算及其在决策树算法中的应用. 引言 熵是机器学习的关键概念之一.对于任何机器学习爱 ...
- 计算机中熵与信息熵的概念及来源
熵 (统计物理与信息论术语) 熵的概念 [1] 是由德国物理学家克劳修斯于1865年所提出.最初是用来描述"能量退化"的物质状态参数之一,在热力学中有广泛的应用.但那时熵仅仅是一 ...
- 机器学习概念总结笔记(一)——机器学习算法分类、最小二乘回归、岭回归、LASSO回归
原文:https://cloud.tencent.com/community/article/137341 机器学习概念总结 1,机器学习算法分类 1)监督学习: 有train set,train s ...
- 排列熵、模糊熵、近似熵、样本熵的原理及MATLAB实现之模糊熵
目录 二.模糊熵 1.概念 2.基本原理 3.MATLAB代码 4.参考文献 说明:关于排列熵的内容请阅读博客:排列熵.模糊熵.近似熵.样本熵的原理及MATLAB实现 二.模糊熵 1.概念 在样本熵的 ...
- 从熵到相位传递熵,附matlba和python代码
先来一张图,预览一下最近为了整明白相位传递熵所要恶补的知识叭,泪目了:( 好吧,废话不多说,直接开始吧! 一. 熵是什么? 1.香浓熵 2.联合熵.条件熵和互信息 3.传递熵 二.直方图 1.连续随机 ...
最新文章
- 需求编写的几点经验之谈
- mysql 查询每天 如果没有显示为0_「15」MySQL的系统信息函数
- java-List集合的源码分析(数据结构方面,源码注释方面),迭代器快速失败机制
- uva 1203—— Argus
- Java容器 | 基于源码分析Map集合体系
- ssm中使用slf4g
- uva 12558 Egyptian Fractions (HARD version)
- 特斯拉联合苹果发难 要对小鹏汽车“窃密”员工动手了...
- Spring-bean的作用域(六)
- ILSpy反编译工具的使用
- java中的标记接口
- 打开你的脑洞:NER如何进行数据增强 ?
- zbbz插件使用教程_CAD坐标自动标注zbbz插件非常实用(附压缩包及安装步骤)
- 简仿Path的商店表情弹出模块
- 零基础怎样自学编程?初学者如何学习编程?编程学习入门指南(文章较长,需要耐心看完)
- 我在名牌大学毕业后的经历
- 京东 ChubaoFS 分布式文件系统分析
- 微软输入法设置小鹤双拼
- 易语言 精易WEB浏览器拦截并且显示验证码
- OGC 网络数据服务的类型与操作+实现GeoServer软件在Apache+Tomcat的部署+OGC数据服务WMS、WFS和WCS的发布