信息论复习四：信源编码

这节我们复习信源编码！！！

首先了解编码的概念，然后了解码的种类，其中等长非奇异码是唯一可译码，即时码也是唯一可译码。

接着就是唯一可译码存在定理：即唯一可译码需要满足的条件，也就是说满足kraft不等式不一定是唯一可译码，但唯一可译码必须满足Kraft不等式。

然后就是重要的定长信源编码定理，即定长码编码速率大于信源熵的时候既可以实现无失真传输！！！

接下来就是编码效率和熵的关系，这个作为了解。

然后就是变长码编码定理，里面注意平均码长的计算和编码效率的计算，总的来说就是如国编码速率大于信源熵，则可以实现无失真传输，否则，不能！！！这也就是香农第一定理，信源编码定理！！！

接下来就是三大编码，香农编码，范诺编码和哈夫曼编码，以及对应的例题！！！

香农编码：

(1) 将信源消息符号按其出现的概率大小依次排列 p1 ≥ p2 ≥ … ≥ pn
(2) 确定满足下列不等式的整数码长Li为 -log2(pi) ≤ Li < -log2(pi) + 1，自信息向上取整即为码长
(3) 为了编成唯一可译码, 计算第i个消息的累加概率，累加概率为前面i-1个消息的概率之和
(4) 将累加概率Pi转换成二进制数。
(5) 取Pi二进数的小数点后Li位即为该消息符号的二进制码字。

范诺编码:

(1) 将信源消息符号按其出现的概率大小依次排列: p1 ≥ p2 ≥ … ≥ pn
(2) 将依次排列的信源符号按概率值分为两大组, 使两个组的概率之和近于相同, 并对各组赋予一个二进制符号“0”和“1”。
(3) 将每一大组的信源符号进一步再分成两组, 使划分后的两个组的概率之和近似相同, 并对各组赋予一个二进制符号“0”和“1”。
(4) 如此重复, 直至每个组只剩下一个信源符号为止。

(5) 信源符号所对应的码字即为范诺码。

哈夫曼编码:

(1) 将信源消息符号按其出现的概率大小依次排列: p1 ≥ p2 ≥ … ≥ pn
(2) 将两个概率最小的符号sn-1和sn各分配一个0和1，并将这两个符号合并成一个新符号，并用这两个最小的概率之和最为新符号的概率，结果得到一个包含n-1个信源符号的新信源，用S1表示。
(3) 将S1的符号仍然按照概率从大到小排列，重复2，得到一个n-2个符号的信源S2。(合并后的概率和其他概率相等时，将合并的概率当大概率排列，此时码长方差比较小)
(4) 如此重复, 直至缩减为两个符号。
(5) 从最后一级开始，依编码路径向前返回，得到各个信源对应的码字。

以上就是本节的内容！！！

持续更新中！！！

信息论复习四：信源编码相关推荐

数据结构期末复习(四)
数据结构期末复习(四) 树的相关概念节点的度:一个节点的子树数目成为节点的度.也就是一个节点连着几个子节点的意思. 叶子节点:没有子节点的节点. 树的度:Max{所有节点的度}. 深度:就是树的高度 ...
信息论复习—信源编码的基本方法
目录信源编码的目的:提高传输效率离散信源: 离散信源的分类: 离散无记忆信源 (DMS: Discrete Memoryless Source): 离散无记忆信源的特点: 离散无记忆信源编码与译码 ...
java jsp 特殊标签_JSP复习(四)：JSTL标记
JSTL优势:在于EL和标准动作无法达到目的,又不使用脚本代码.(JSTL 1.1不是JSP2.0规范的一部分,TOMCAT高版本已经自带了JSTL的JAR包) 使用JSTL需要使用指令,引入JSTL ...
编译原理复习四：编译器结构消除左递归、左公因子最右推导寻找句柄讲解（附题目和答案）
需要原卷和答案请点赞关注收藏后评论区留言私信~~~ 下面对编译原理中一些常见的概念以及算法小题的讲解,这部分可能单独出题考试,也有可能混在大题中出现一.编译器结构题目如下 The phases o ...
信息论复习—信息论的基本概念
信息的概念: 古代的信息技术: 现代的信息技术信息与消息的关系: 消息:用文字.符号.数据.语言.音符.图片.图像等能够被人们感觉器官所感知的形式,把客观物质运动和主观思维活动的状态表达出来就称为消 ...
RFID期末复习四、五、六、七章节
第四章 1.方式射频识别技术在工作频率为13.56 MHz和小于135kHz时,基于电感耦合方式,在更高频段基于雷达探测目标的反向散射耦合方式. 2.阅读器和应答器分别采用什么谐振回路? 在阅读器中 ...
Java复习(四)类的重用
4.1类的继承 Java只支持类的单继承,每一个子类只能有一个直接父类. #继承的语法 class childClass extends parentClass {//类体 } 子类不能直接访问从父类 ...
软件工程期末考试复习(四)
总体设计总体设计的基本且的就是回答"概括地说,系统应该如何实现"这个问题.因此,总体设计又称为概要设计或初步设计.通过这个阶段的工作将划分出组成系统的物理元素程序.文件.数据库. ...
医学图像处理期末复习(四)
这节主要总结医学图像的增强技术.图像的分割技术. 医学图像增强基本增强技术图像是信息可视化的重要手段.一幅医学图像以直观的形式给医生提供辅助诊断和治疗的信息.特别是,有经验的放射专家和临床医生能从 ...
C# 基础知识复习(四)---数组
声明数组在 C# 中声明一个数组,您可以使用下面的语法: datatype[] arrayName; 其中, datatype 用于指定被存储在数组中的元素的类型. [ ] 指定数组的秩(维度).秩 ...

信息论复习四：信源编码

信息论复习四：信源编码相关推荐

最新文章

热门文章