信息论2——单维连续信源

2024-05-09 02:48:46

文章目录

连续熵（无穷大）
微分熵（相对熵）
常见约束下信源的最大相对熵

信源输出的消息是时间和取值都连续的随机函数，连续信源可以用一个随机过程{x(t)}表示，其输出的消息是随机过程{x(t)}中的一个样本函数。我们可以用概率密度的形式来进行描述：

[X□P]:{X:[a,b](或 R)P(X)p(x)[X \square P]:\left\{\begin{array}{ll}X: & {[\mathrm{a}, \mathrm{b}](\text { 或 } \mathrm{R})} \\ P(X) & \mathrm{p}(\mathrm{x})\end{array}\right.[X□P]:{X:P(X)[a,b]( 或 R)p(x)
由概率密度函数 p(x)p(x)p(x) 就可确定单维连续信源 X的概率分布:
F(x1)=P{X≤x1}=∫ax1p(x)dx\mathrm{F}\left(x_{1}\right)=P\left\{X \leq x_{1}\right\}=\int_{a}^{x_{1}} p(x) d xF(x1)=P{X≤x1}=∫ax1p(x)dx
且 ∫abp(x)dx=1\int_{a}^{b} p(x) d x=1∫abp(x)dx=1

连续熵（无穷大）

因为连续信源是连续的，分析它的时候，我们对它的分割是有无穷多种的，所以无穷大是合理的。

微分熵（相对熵）

h(X)=−∫abp(x)log⁡p(x)dxh(X)=-\int_{a}^{b} p(x) \log p(x) d xh(X)=−∫abp(x)logp(x)dx，相对熵不具有信息的内涵，它在单维连续信道中的平均交互信息量中有作用。单维连续信源的信息熵是无限大的正数，相对熵是其中确定值的一部分，可以计算。

我们暂时用它比较两个连续信源的不确定性。

性质：不具有非负性

常见约束下信源的最大相对熵

峰值功率受限最大相对熵定理：对于峰值功率受限的单维连续信源，当输出消息的概率密度是均匀分布时，相对熵达到最大值。

比如：输出信号的瞬间电压受限

均值受限信源的最大相对熵定理：对于输出消息非负且均值受限的单维连续信源，当输出消息的概率密度函数为单边指数分布时，相对熵达到最大值。

平均功率受限信源的最大相对熵定理：若单维连续信源输出信号的平均功率限定为P，则其输出消息的概率密度函数为高斯分布时，相对熵达到最大值

信息论2——单维连续信源相关推荐

信息论4—多符号离散信道，单维连续信道
文章目录多符号离散信道多符号离散信道容量信道的剩余度单维连续信道平均交互信息量连续信道的信道容量高斯加性信道的信道容量信道的剩余度单维连续信道平均交互信息量连续信道的信道容量高 ...
单维随机变量概率“分布”全总结
单维随机变量概率论"分布"全总结 1. 0-1分布 1.1定义:如果随机变量X有分布律 X 0 1 P 1-p p 且0<p<1,则称X服从参数为p的0-1分布,或称X ...
【OpenCV 例程200篇】73. 二维连续傅里叶变换
[OpenCV 例程200篇]73. 二维连续傅里叶变换欢迎关注『OpenCV 例程200篇』系列,持续更新中欢迎关注『Python小白的OpenCV学习课』系列,持续更新中 2.1 二维 ...
函数在区间连续可以推出什么_A-22 函数的点连续、单侧连续、区间连续
欢迎光临我的专栏<微积分学习之旅>,一起学习,共同提高. 有些函数在求时的极限时,可以直接求函数在时的取值,我们称具有这种特性函数" 在点连续 ".我们将会看到, ...
流媒体视频质量评价（单刺激连续质量评价方法）
2019独角兽企业重金招聘Python工程师标准>>> Stefan Winkler等人在论文<Video Quality Evaluation for Internet St ...
《信息与编码》考试复习笔记6----第六章连续信源熵和信道容量（考点在连续信道容量）
系列文章链接目录一.<信息与编码>考试复习笔记1----第一章概论二.<信息与编码>考试复习笔记2----第二章离散信息源三.<信息与编码>考试复习笔记2-- ...
二维连续型随机变量及其分布
二维连续型随机变量的联合分布二维连续型r.v的概率密度 2.性质典型例题二维连续型随机变量的边缘分布边缘分布函数连续型r,v的边缘分布典型例题二维连续型随机变量的条件分布连续型随机变量 ...
在Adobe Acrobat DC中设置PDF单页连续
点击编辑-->首选项-->辅助工具-->选择总是使用页面布局样式-->单页连续,如下图所示. 然后点击文档-->打开设置,去掉"重新打开文档时恢复上次视图设 ...
【概率论与数理统计】猴博士笔记 p26-28 F、f的性质、一、二维连续型求期望、方差
F.f的性质做法: 上述公式的原理: 做一些题目来练习套公式. 例1: 解: P{X≤2}=F(2)=1−e−2P\{X\le2\}=F(2)=1-e^{-2} P{X≤2}=F(2)=1−e−2 ...

最新文章

热门文章