【信息论与编码 沈连丰】第四章：离散信源的信源编码
【信息论与编码 沈连丰】第四章：离散信源的信源编码
- 第四章 离散信源的信源编码
- 4.1 信源编码的模型
- 4.2 信息传输速率和编码效率
- 4.3 单义可译定理
- 4.4 无失真信源编码定理
- 4.5 几种典型的信源编码方法
- 4.6 汉字编码方法及其讨论
- 4.7 图像的信源编码
- 4.8 误码对信源译码的影响
第四章 离散信源的信源编码
信源编码的含义：将信源产生的信息变换为数字序列的过程
信源编码的主要任务：将消息信号数字化和压缩其冗余度，提高编码效率
从编码结果使得信源消息的信息量有无损失的角度，可以分为无失真信源编码和限失真信源编码，其理论基础分别是香农第一定理和香农第三定理。
4.1 信源编码的模型
- ASCII码：
- 码字的平均长度最短和易于实现是编码时注重的两个方面，前者为了提高编码效率，后者为了性价比。
4.2 信息传输速率和编码效率
信息传输速率：
等长码的信息传输速率：
变长码的信息传输速率：
信道容量、编码效率：
信源最大熵与信道容量：
- 最佳编码：从编码效率公式可以看出，在给定信源情况下，若要提高信源编码的编码效率，方法之一就是使得编码后码字的平均长度尽可能小。通常称具有最短码字平均长度或编码效率趋近于1的信源编码为最佳信源编码。
4.3 单义可译定理
- 单义可译码：
即时码：译码时不需要考察后续码元，即时可译的码字。反之，如果需要考察后续码元的码字则称为非即时码。
即时可译码一定是单义可译码。反之不成立，即单义可译码不一定是即时码。如：
- Kraft不等式：给出了即时码存在的充要条件
Kraft不等式给出了即时码/单义可译码的要求，它只与码的结构有关，与信源消息的统计特性无关，它也没有给出是否为最佳编码的判断。
平均码长界定定理：
- 平均码长界定定理的物理意义：
4.4 无失真信源编码定理
- 二进制编码和无记忆信源条件下的香农第一定理：
- 香农第一定理：又称无失真信源编码定理或变长码信源编码定理
香农第一定理的意义是指：将原始信源符号转化为新的码元符号，使码元符号尽量服从等概分布，从而每个码元符号所携带的信息量达到最大，进而可以用尽量少的码元符号来传输信源信息。
- 香农第一定理仅仅是一个存在性定理。
4.5 几种典型的信源编码方法
香农编码：
例子：
- 费诺编码：
例子：
- 霍夫曼编码：
- Lempel-Ziv编码：
4.6 汉字编码方法及其讨论
4.7 图像的信源编码
压缩编码
算术编码
- 游程编码
- 轮廓编码
4.8 误码对信源译码的影响
【信息论与编码 沈连丰】第四章：离散信源的信源编码相关推荐
- 【信息论与编码基础】第4章 信源压缩编码基础
第4章 信源压缩编码基础 4.1 无失真可变长信源编码定理 4.1.1 信源编码器 4.1.2 无失真可变长信源编码定理 4.2 保真度准则下的信源编码定理 4.2.1 失真度与信息率失真函数 4.2 ...
- 《信息与编码》考试复习笔记6----第六章连续信源熵和信道容量（考点在连续信道容量）
系列文章链接目录 一.<信息与编码>考试复习笔记1----第一章概论 二.<信息与编码>考试复习笔记2----第二章离散信息源 三.<信息与编码>考试复习笔记2-- ...
- 尚学堂Java第四章作业编码题+个人想法
尚学堂Java第四章作业编码题+个人想法 编码题一: 编码题二: 编码题三: 终于到我想说的地方了 刚开始学习Java,刚开始学会做笔记,觉悟的可能比较晚,但没关系,我会努力的! 由于每次做作业都难理 ...
- 设计数据密集型应用 第四章：编码与演化
设计数据密集型应用 第四章:编码与演化 唯变所适 --以弗所的赫拉克利特,为柏拉图所引(公元前360年) 文章目录 设计数据密集型应用 第四章:编码与演化 编码数据的格式 术语冲突 语言特定的格式 J ...
- 编程艺术第二十三~四章十一续：杨氏矩阵查找，倒排索引关键词Hash编码
第二十三.四章:杨氏矩阵查找,倒排索引关键词Hash不重复编码实践 作者:July.yansha.编程艺术室出品. 出处:结构之法算法之道. 前言 本文阐述两个问题,第二十三章是杨氏矩阵查找问题,第二 ...
- 编程艺术第二十三 四章 十一续 杨氏矩阵查找 倒排索引关键词Hash编码
分享一下我老师大神的人工智能教程!零基础,通俗易懂!http://blog.csdn.net/jiangjunshow 也欢迎大家转载本篇文章.分享知识,造福人民,实现我们中华民族伟大复兴! 第二十三 ...
- 信息论与编码（姜丹版）第六章笔记
通信的根本任务--有效.可靠地传输信息 信源编码:用信道能传输的符号代表信源的消息,使信源的消息适于传输(变换):在不失真或允许一定失真下,用尽可能少的符号来传递信息(通信的有效性,数据压缩) 信道编 ...
- 信息论与编码课件，希望传播给更多的人
可能有些图片打不开,链接:https://pan.baidu.com/s/1azDGIkaZRVKbMMGHacNucw 提取码:1111 附上链接,传播知识,知识无 ...
- 数据挖掘导论学习总结——第四章
第四章:分类与预测 分类方法用于预测数据对象的离散类别,预测则用于预测数据对象的梁旭取值,例如我们可以构造一个分类模型来对银行贷款进行风险评估,也可以简历一个预测模型以利用顾客收入与职业预测其可能用于 ...
最新文章
- 在Apache的POI XWPFRun对象分隔文本行
- flutter图片识别_Flutter 资源和图片
- python123程序作业答案说句心里话_作业 -- 几道简单的Python题
- webpack使用加载器来加载CSS样式
- Java高级架构之FastDFS分布式文件集群
- 真正零基础Python入门：手把手教你从变量和赋值语句学起
- 【BZOJ3992】【SDOI2015】序列统计
- 依据BaiduHack多线程爬取攻击点url和网站url，保存至txt
- 麦子学院python百度云_麦子学院python
- matlab建空数组,matlab数组的创建与操作
- 加性高斯白噪声信道的信道容量
- win10计算机怎么打开方式,Win10如何还原打开方式？还原打开方式的方法
- 【VBS发邮件】乱码解决方法
- uni-app app项目运行至夜神模拟器
- 用Cufflinks计算差异表达
- android studio编程实例,Android Studio JNI 开发简单案例
- Saiku-ui代码结构分析
- 有一种感觉叫清风细雨
- win10台式电脑耳机不响
- es中的ClusterStateApplier和ClusterStateListener