视频编解码-----理论基础（3）

第3章信息论基础

1. 通信系统的组成

信源：产生消息
信道：传输消息
信宿：接收消息

2. 基本概念

通信中对信息的表达分为三个层次：信号，消息，信息。

信号：是信息的物理层表达，可测量，可描述，可显示。如电信号，光信号。
消息：是信息的载体，以文字，语言，图像等人类可以认知的形式表示。
信息：不确定的内容。

信息的特点

信息的测量：

自信息量

条件信息量

3. 信息熵

4. 条件熵和联合熵

5. 熵的性质

非负性：信源熵是非负值，即 H(X) >=0;
扩展性：信源熵X有M个符号，如果其中一个符号出现的概率趋于零，信源熵就等于剩余M-1个符号的信源熵；
极值性（最大信息熵）：对于具有M个符号的信源，只有在所有符号等概率出现的情况下，信源熵达到最大值，即
可加性：
熵不增：条件熵不大于信息熵 H(X|Y) <= H(X)；
联合熵不大于各信息熵的和，即H(XY) <= H(X) + H(Y)。

6. 互信息

物理意义：H(X)是X所含的信息，H(X|Y)是已知Y的条件下X还能带来的信息量。那么两者之差就是由于知道Y使得X减少的信息量，也即由Y可以得到的关于X的信息量。

7. 互信息量

8. 各种熵的关系

9. 信源编码

信源编码：将消息符号转变成信道可传输的信息。

两个基本问题：

用尽可能少的信道传输符号来传递信源消息，提高传输效率；
减少由于信道传输符号的减少导致的失真。

10. 离散信源统计特性

11. 离散信源类型：简单无记忆信源和马尔可夫信源

12. 编码分类

等长码：在一组码字集合C中的所有码字cm (m = 1,2, …,M)，其码长都相同，则称这组码C为等长码。
变长码：若码字集合C中的所有码字cm (m = 1,2, …,M)，其码长不都相同，称码C为变长码。

13. 平均码长

14. 等长码与变长码比较

等长编码将信源输出符号序列的任意一种取值（概率可能不同）都编码成相同长度的输出码字，没有利用信源的统计特性；
变长编码可以根据信源输出符号序列各种取值的概率大小不同，将他们编码成不同长度的输出码字，利用了信源的统计特性。因此又称其为熵编码。

15. Huffman编码

Huffman编码：典型的变长编码。

步骤：

将信源符号按概率从大到小的顺序排列，假定p(x1)≥ p(x2)… ≥ p(xn)
给两个概率最小的信源符号p(xn-1)， p(xn)各分配一个码位"0"和"1"，将这两个信源符号合并成一个新符号，并用这两个最小的概率之和作为新符号的概率，结果得到一个只包含(n-1)个信源符号的新信源。称为信源的第一次缩减信源，用S1表表示。
将缩减信源S1的符号仍按概率从大到小的顺序排列，重复步骤2，得到只含(n-2)个符号的缩减信源S2。
重复上述步骤，直至缩减信源只剩下两个符号为止，此时所剩两个符号的概率之和必为1。然后从最后一级缩减信源开始，依编码路径向前返回，就得到各信源符号所对应的码字。

16. 信道编码

信道编码主要考虑如何增加信号的抗干扰能力，提高传输的可靠性，并且提高传输效率。
一般是采用冗余编码法，赋予信码自身一定的纠错和检错能力，使信道传输的差错概率降到允许的范围之内。

17. 信道类型

根据信道连续与否分类

离散信道
连续信道
半连续信道

根据信道是否有干扰分类

无干扰信道
有干扰信道

根据信道的统计特性分类

无记忆信道
有记忆信道
恒参信道
变参信道
对称信道
非对称信道

18. 信道容量

在信息论中，称信道无差错传输的最大信息速率为信道容量。

香农信道容量公式：

假设连续信道的加性高斯白噪声功率为N，信道带宽为B，信号功率为S，则该信道的容量为
由于噪声功率N与信道带宽B有关，则噪声功率N=n0B 。因此，仙农公式还可以表示为

19. 香农信道容量公式的意义

在给定B和S/N的情况下，信道的极限传输能力为C，而且此时能够做到无差错传输。如果信道的实际传输速率大于C 值，则无差错传输在理论上就已不可能。因此，实际传输速率一般不能大于信道容量C ，除非允许存在一定的差错率。
提高信噪比S/N（通过减小n0或增大S），可提高信道容量C。特别是，若n0->0，则C->∞ ，这意味着无干扰信道容量为无穷大；
增加信道带宽B，也可增加信道容量C，但做不到无限制地增加。这是因为，如果 S、n0一定，有
维持同样大小的信道容量，可以通过调整信道的B及S/N来达到，即信道容量可以通过系统带宽与信噪比的互换而保持不变。

20. 失真

失真：信源的消息经过编解码后不能完全复原
在实际的信源和信道编码中，消息的传输并不总是无失真的。
- 由于存储和传输资源的限制
- 噪声等因素的干扰

21. 率失真理论

仙农定义了信息率失真函数R(D)
- D是消息失真
- R是码率
率失真定理：在允许一定失真度D的情况下，信源输出的信息率可压缩到R(D)。

22. 失真函数

失真函数：信源符号X={x1, x2, …..xn}，经信道传输接收端符号Y={y1, y2….yn}，对于每一对(xi, yj)指定一个非负函数 d(xi, yj)，称d(xi, yj)为单个符号的失真度或失真函数。对于连续信源连续信道的情况，常用d(x, y)表示。
常用失真函数：
平均失真度：

视频编解码-----理论基础（3）相关推荐

回首十几年视频编解码之路
最近读了大师兄悟空的一篇公众号文章,深有体会.其中有一段话: 非常同意,若非喜欢真的就放弃了. 引起了我的许多回忆,因此想要写这篇文字. 学习阶段第一次接触视频编解码是研一的时候,当时导师有一个北京 ...
【视频编解码-02】视频编码的目的、条件和目标
视频编码,是视频处理中的一个核心技术. 现代我们所看到的所有视频,包括电视.互联网.手机等等,几乎所有的视频都会被编码.解码. 整个视频技术的基本流程是:视频数据的采集.视频数据的编码.视频数据的传输 ...
视频编解码之理论概述和即时通信
前言即时通讯应用中的实时音视频技术,几乎是IM开发中的最后一道高墙.原因在于:实时音视频技术 = 音视频处理技术 + 网络传输技术的横向技术应用集合体,而公共互联网不是为了实时通信设计的.有关实时 ...
【H.264/AVC视频编解码技术详解】十九：熵编码算法(5)——H.264的CABAC（上）：语法元素的二值化方法...
<H.264/AVC视频编解码技术详解>视频教程已经在"CSDN学院"上线,视频中详述了H.264的背景.标准协议和实现,并通过一个实战工程的形式对H.264的标准进行 ...
视频编解码的理论和实践2：Ffmpeg视频编解码
近几年,视频编解码技术在理论及应用方面都取得了重大的进展,越来越多的人想要了解编解码技术.因此,网易云信研发工程师为大家进行了归纳梳理,从理论及实践两个方面简单介绍视频编解码技术. 相关阅读推荐 &l ...
【H.264/AVC视频编解码技术具体解释】十三、熵编码算法（4）：H.264使用CAVLC解析宏块的残差数据...
<H.264/AVC视频编解码技术具体解释>视频教程已经在"CSDN学院"上线,视频中详述了H.264的背景.标准协议和实现,并通过一个实战project的形式对H.2 ...
音视频编解码的国际标准
文章目录 1 音视频编解码的国际标准 1.1 音视频编解码相关的组织 1.2 H.265介绍 1 音视频编解码的国际标准 1.1 音视频编解码相关的组织音视频编解码主要有如下三大组织推动并发展: I ...
AV1：为互联网提供开放、免费的视频编解码工具
从学术研究到进入工业界,Zoe Liu一直在算法和音视频领域,目前在谷歌编解码团队为编解码器AV1做开发支持.Zoe畅谈了评定编解码器的标准,以及AV1的最新进度.本文是『下一代编码器』系列采访之一, ...
被压缩的视觉：视频编解码技术
视觉是人类获得信息的主要方式,每天有大量的视频信息被生产并传输.未经压缩的视频内容占用的存储空间和传输带宽十分巨大,以常见的30fps高清视频为例,采用avi格式存储的YUV420视频流一分钟就有2G ...

视频编解码-----理论基础（3）

第3章信息论基础

视频编解码-----理论基础（3）相关推荐

最新文章

热门文章

视频编解码-----理论基础（3）

第3章 信息论基础

视频编解码-----理论基础（3）相关推荐

最新文章

热门文章

第3章信息论基础