文章目录

  • 复随机变量
    • 复随机信号
    • 复随机变量的二阶统计特性
  • 圆系数和高斯熵
    • 圆系数
    • 高斯熵

复随机变量

复随机信号

复随机信号x\bf{x}x的概率分布函数pdf为:
px(x)=px(xr+jxi)p_x({\bf{x}}) = p_x(x_r+jx_i) px​(x)=px​(xr​+jxi​)
对函数求其期望值有g:N→CNg:N{\rightarrow}{C^N}g:N→CN,其中复随机信号bfxbf{x}bfx的取值在定义域NNN中。
E(g(x))=E(Re[g(x)])+jE(Im[g(x)])E(g({\bf{x}})) = E(Re[g({\bf{x}})]) + jE(Im[g({\bf{x}})]) E(g(x))=E(Re[g(x)])+jE(Im[g(x)])
一般假设其均值为零。

复随机变量的二阶统计特性

考虑复随机变量x=xr+jxi{\bf{x}}=x_r+jx_ix=xr​+jxi​的二阶统计特性。简化表示使用两个实数表示xR=[xrT,xiT]Tx_R=[x_r^T,x_i^T]^TxR​=[xrT​,xiT​]T。故其信号的协方差矩阵可以表示为:
CxRxR=E{xRxRT}=[CxrxrCxrxiCxrxiTCxixi]C_{x_{R}x_{R}}=E\left \{x_Rx_R^T \right \}=\begin{bmatrix} C_{x_{r}x_{r}} &C_{x_{r}x_{i}} \\ C_{x_{r}x_{i}}^T & C_{x_{i}x_{i}} \end{bmatrix} CxR​xR​​=E{xR​xRT​}=[Cxr​xr​​Cxr​xi​T​​Cxr​xi​​Cxi​xi​​​]
对于其增强协方差矩阵
Caug=E{xxH}=UNCxRxRUNH=[CxxC~xxC~xx∗Cxx∗]=CaugHC_{aug}=E\left\{ \bm{x} \bm{x}^H\right\}=\bf{U}_NC_{x_{R}x_{R}}\bf{U}_N^H=\begin{bmatrix} C_{xx}&\tilde{C}_{xx} \\ \tilde{C}_{xx}^* & {C}_{xx}^* \end{bmatrix}=C_{aug}^H Caug​=E{xxH}=UN​CxR​xR​​UNH​=[Cxx​C~xx∗​​C~xx​Cxx∗​​]=CaugH​
其中Hermit矩阵有
Cxx=E{xxH}=Cxrxr+Cxixi+j(CxrxiT−Cxixi)=CxxHC_{xx}=E\left\{ \bm{x} \bm{x}^H\right\}=C_{x_rx_r}+C_{x_ix_i}+j(C_{x_rx_i}^T-C_{x_ix_i})=C_{xx}^H Cxx​=E{xxH}=Cxr​xr​​+Cxi​xi​​+j(Cxr​xi​T​−Cxi​xi​​)=CxxH​
C~xx=E{xxT}=Cxrxr−Cxrxi+j(CxixiT−Cxixi)=C~xxT\tilde{C}_{xx}=E\left\{ \bm{x} \bm{x}^T\right\}=C_{x_rx_r}-C_{x_rx_i}+j(C_{x_ix_i}^T-C_{x_ix_i})=\tilde{C}_{xx}^T C~xx​=E{xxT}=Cxr​xr​​−Cxr​xi​​+j(Cxi​xi​T​−Cxi​xi​​)=C~xxT​
称C~xx\tilde{C}_{xx}C~xx​为伪协方差矩阵,当其为零时,其复信号称为不失真信号,反之为失真信号。
可以得到复信号xxx为不失真信号的充分必要条件为复信号的实部xrx_rxr​和虚部xix_ixi​的协方差矩阵和伪协方差矩阵均满足Cxrxr=CxixiC_{x_rx_r}=C_{x_ix_i}Cxr​xr​​=Cxi​xi​​和Cxrxi=−CxrxiTC_{x_rx_i}=-C_{x_rx_i}^TCxr​xi​​=−Cxr​xi​T​
则当其复信号为不失真信号时,其hermit协方差矩阵为
Cxx=2Cxrxr−2jCxrxi=2Cxixi+2jCxrxiTC_{xx}=2C_{x_rx_r}-2jC_{x_rx_i}=2C_{x_ix_i}+2jC_{x_rx_i}^T Cxx​=2Cxr​xr​​−2jCxr​xi​​=2Cxi​xi​​+2jCxr​xi​T​
同时其如果是一个标量信号时,其信号的方差是虚部方差和实部方差的两倍:
σx2=2σxr2=2σxi2\sigma_x^2=2\sigma_{x_r}^2=2\sigma_{x_i}^2 σx2​=2σxr​2​=2σxi​2​
当一个复随机变量的概率分布的旋转不变的,则称其为圆的。
可以得到只有当复高斯随机信号xxx为非失真函数且均值为0时其才为圆信号。

圆系数和高斯熵

圆系数

描述圆信号的圆的程度,圆度系数。
近似的求解复信号的非圆度系数和圆度系数:
ρ=E{x2}E{∣x2∣}\rho = \frac{E\left\{x^2\right\}}{E\left\{\left | x^2\right |\right\}} ρ=E{∣x2∣}E{x2}​
满足非圆系数0<ρ<10<\rho<10<ρ<1。
当其为圆信号时,E{x2}=0E\left\{x^2\right\}=0E{x2}=0。当非圆程度越高,其E{x2}E\left\{x^2\right\}E{x2}的值就越接近于E{∣x2∣}E\left\{\left | x^2\right |\right\}E{∣∣​x2∣∣​}的值,非圆系数越接近于1。

高斯熵

根据香农的信息论,信息熵是描述一个信息的信息量大小和信息的不确定性之间的关系。同样地假设一个离散随机变量xxx,其概率密度函数为f(x)f(x)f(x),根据信息论其自信息量为I(x)=−log⁡f(x)I(x)=-\log{f(x)}I(x)=−logf(x),其平均信息量为:
H(x)=−∫f(x)log⁡f(x)dxH(x) = -\int{f(x)\log{f(x)}dx} H(x)=−∫f(x)logf(x)dx
其中H(x)H(x)H(x)被称为随机变量的熵。
对于复随机信号,可以根据上述的定义得到一个含增强协方差矩阵的熵:
H(X)=12log⁡[(πe)2Ndet⁡Caug]H(X)=\frac{1}{2}\log{[(\pi e)^{2N}\det{C_{aug}}]} H(X)=21​log[(πe)2NdetCaug​]
其中,det⁡Caug=det⁡2Cxxdet⁡(1−KKH)=det⁡2Cxx∏n=1N(1−kn2)\det{C_{aug}}=\det^2{C_{xx}}\det{(1-KK^H)}=\det^2{C_{xx}}{\prod_{n=1}^{N}}(1-k_n^2)detCaug​=det2Cxx​det(1−KKH)=det2Cxx​∏n=1N​(1−kn2​)

对于一个非圆的复高斯随机信号的熵可以改写为如下公式:
Hnoncir=12log⁡[(πe)2Ndet⁡Caug]=log⁡[(πe)2Ndet⁡Cxx]+12log⁡∏n=1N(1−kn2)H_{noncir}=\frac{1}{2}\log{[(\pi e)^{2N}\det{C_{aug}}]}=\log{[(\pi e)^{2N}\det{C_{xx}}]}+\frac{1}{2}\log{{\prod_{n=1}^{N}}(1-k_n^2)} Hnoncir​=21​log[(πe)2NdetCaug​]=log[(πe)2NdetCxx​]+21​logn=1∏N​(1−kn2​)
当复随机信号为圆时,其熵最大。
为了计算的方便和使用,给出另外一个高斯熵的定义方法

  • 高斯熵的定义2:假设复随机信号为x=xR+jxI{\bf{x}}=x_R+jx_Ix=xR​+jxI​,可以得到其熵的定义为:
    H(x)≜H(x,x∗)=−E{log⁡p(x,x∗)}H(x)\triangleq H(x,x^*)=-E\left\{\log{p(x,x^*)} \right\} H(x)≜H(x,x∗)=−E{logp(x,x∗)}
    将其视为两个独立的随机变量,可以得到其概率密度函数
    p(x)=p(x,x∗)=1πdet⁡Πexp(−[xx∗]HΠ−1[xx∗]/2)p(x)=p(x,x^*)=\frac{1}{\pi \sqrt{\det{\Pi} } }exp(-\begin{bmatrix}x\\x^*\end{bmatrix}^H\Pi^{-1}\begin{bmatrix}x\\x^*\end{bmatrix}/2) p(x)=p(x,x∗)=πdetΠ​1​exp(−[xx∗​]HΠ−1[xx∗​]/2)
    Π=[E{∣x2∣}E{x2}E{(x2)∗}E{∣x2∣}]\Pi = \begin{bmatrix}E\left\{\left | x^2\right |\right\} &E\left\{x^2\right\}\\ E\left\{(x^2)^*\right\}&E\left\{\left | x^2\right |\right\} \end{bmatrix} Π=[E{∣∣​x2∣∣​}E{(x2)∗}​E{x2}E{∣∣​x2∣∣​}​]
    其中Π\PiΠ是[x,x∗]T[x,x^*]^T[x,x∗]T的协方差。将上述两式结合可以得到高斯熵的定义:
    H(x)≜H(x,x∗)=−E{log⁡p(x,x∗)}=1+log⁡(π)+12[E2{∣x2∣}−∣E{x2}∣2]H(x)\triangleq H(x,x^*)=-E\left\{\log{p(x,x^*)} \right\} \\ =1+\log{(\pi)}+\frac{1}{2}[E^2\left\{\left | x^2\right |\right\} -\left |E\left\{x^2\right\}\right |^2] H(x)≜H(x,x∗)=−E{logp(x,x∗)}=1+log(π)+21​[E2{∣∣​x2∣∣​}−∣∣​E{x2}∣∣​2]

复随机变量及高斯熵的概念相关推荐

  1. 信息安全—密码学信息熵信息理论基础—熵的概念(熵、联合熵、条件熵、平均互信息)

    数学基础:概率论乘法法则 两个事件相互独立:P(A∩B) = P(A)×P(B) · 意思是事件A和事件B同时发生的概率 = 事件A发生的概率 × 事件B发生的概率 · · 举个栗子:掷两枚硬币硬币同 ...

  2. 2022宋涛宋妍君李凯博许孟如--讨论熵的概念与性质

    提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档 文章目录 前言 一.熵是什么? 二.熵的性质 1.条件熵 2.联合熵 3.互信息 4.相对熵 总结 前言 克劳德·艾尔伍德·香农(英语 ...

  3. matlab 高斯混合模型 多分类,matlab – 了解高斯混合模型的概念

    如果您先看看 GMM型号代表什么,我认为这将有所帮助.我将从 Statistics Toolbox使用 functions,但您应该能够使用VLFeat做同样的事情. 我们从两个一维normal di ...

  4. 噪声、高斯噪声的概念区分与分类

    占坑... 一.噪声 噪声就是干扰,在电信号中的表现就是:电路或系统中不含信息量的电压或电流. 在工业与自然界中,存在着各种干扰源/噪声源,如大功率电子电器的接入.大功率用电设备的开启与断开.雷击闪电 ...

  5. 独家 | 熵–数据科学初学者必知的关键概念(附链接)

    作者:SETHNEHA 翻译:刘思婧 校对:王可汗 本文约3700字,建议阅读18分钟. 本文为大家介绍了熵的概念.计算及其在决策树算法中的应用. 引言 熵是机器学习的关键概念之一.对于任何机器学习爱 ...

  6. 计算机中熵与信息熵的概念及来源

    熵 (统计物理与信息论术语) 熵的概念 [1]  是由德国物理学家克劳修斯于1865年所提出.最初是用来描述"能量退化"的物质状态参数之一,在热力学中有广泛的应用.但那时熵仅仅是一 ...

  7. 机器学习概念总结笔记(一)——机器学习算法分类、最小二乘回归、岭回归、LASSO回归

    原文:https://cloud.tencent.com/community/article/137341 机器学习概念总结 1,机器学习算法分类 1)监督学习: 有train set,train s ...

  8. 排列熵、模糊熵、近似熵、样本熵的原理及MATLAB实现之模糊熵

    目录 二.模糊熵 1.概念 2.基本原理 3.MATLAB代码 4.参考文献 说明:关于排列熵的内容请阅读博客:排列熵.模糊熵.近似熵.样本熵的原理及MATLAB实现 二.模糊熵 1.概念 在样本熵的 ...

  9. 从熵到相位传递熵,附matlba和python代码

    先来一张图,预览一下最近为了整明白相位传递熵所要恶补的知识叭,泪目了:( 好吧,废话不多说,直接开始吧! 一. 熵是什么? 1.香浓熵 2.联合熵.条件熵和互信息 3.传递熵 二.直方图 1.连续随机 ...

最新文章

  1. 需求编写的几点经验之谈
  2. mysql 查询每天 如果没有显示为0_「15」MySQL的系统信息函数
  3. java-List集合的源码分析(数据结构方面,源码注释方面),迭代器快速失败机制
  4. uva 1203—— Argus
  5. Java容器 | 基于源码分析Map集合体系
  6. ssm中使用slf4g
  7. uva 12558 Egyptian Fractions (HARD version)
  8. 特斯拉联合苹果发难 要对小鹏汽车“窃密”员工动手了...
  9. Spring-bean的作用域(六)
  10. ILSpy反编译工具的使用
  11. java中的标记接口
  12. 打开你的脑洞:NER如何进行数据增强 ?
  13. zbbz插件使用教程_CAD坐标自动标注zbbz插件非常实用(附压缩包及安装步骤)
  14. 简仿Path的商店表情弹出模块
  15. 零基础怎样自学编程?初学者如何学习编程?编程学习入门指南(文章较长,需要耐心看完)
  16. 我在名牌大学毕业后的经历
  17. 京东 ChubaoFS 分布式文件系统分析
  18. 微软输入法设置小鹤双拼
  19. 易语言 精易WEB浏览器拦截并且显示验证码
  20. OGC 网络数据服务的类型与操作+实现GeoServer软件在Apache+Tomcat的部署+OGC数据服务WMS、WFS和WCS的发布

热门文章

  1. Hibernate用Mysql数据库时链接关闭异常的解决
  2. 《Windows 8 权威指南》——1.5 版本对比
  3. C#学习基本概念之匿名方法及Lambda表达式
  4. Unix command to find CPU Utilization
  5. php 之 在win10-64 上搭建开发环境
  6. 前端模版引擎选择指南
  7. nginx负载均衡集群
  8. 移动负载均衡技术(MBL)
  9. Linux下使用SSH、Crontab、Rsync三工具实现数据自动备份
  10. switch里能不能用continue?