信息论复习—信源编码的基本方法
目录
信源编码的目的:提高传输效率
离散信源:
离散信源的分类:
离散无记忆信源 (DMS: Discrete Memoryless Source):
离散无记忆信源的特点:
离散无记忆信源编码与译码:
等长编码的编码速率:
不等长编码的编码速率:
信源的熵H(S ),与编码速率 R 的比值定义为编码效率
离散无记忆信源的等长编码:
等长编码:对信源的每个符号,或每组符号,用长度相等的代码来表示:
扩展编码(联合编码):将 J 个信源符号进行联合编码:
离散无记忆信源(DMS)的有损等长编码:
定义:典型序列集
信源划分定理:
可达速率:
离散无记忆信源的不等长编码:
不等长编码的唯一可译性:
逗点码 —见到逗号就识别为一个码字的开始:
异字头码 — 见到一个码字就立即识别:
码树:
异字头码(编码):
不等长编码的基本定理:
例:
霍夫曼(Huffman)编码:
霍夫曼编码的步骤:
例:
编辑编辑 码字长度的均匀性和方差:
信源编码的目的:提高传输效率
(1)去除消息中的冗余度,使传输的符号尽可能都是独立的,没有多余的成分(如语音、图像信号压缩);
(2)使传输的符号所含的信息最大化。例如,通过编码使符号以等概分布的形式出现,使每个符号可能携带的信息量达到最大;
(3)采用不等长编码,让出现概率大的符号用较短的码元序列表示,对概率小的符号用较长的码元序列;
(4) 在允许一定失真的条件下,如何实现高效率的编码。
离散信源:
离散无记忆信源:
所发出的各个符号之间是相互独立的,发出的符号序列中的各个符号之间没有统计关联性,各个符号的出现概率是它自身的先验概率。
离散有记忆信源:
发出的各个符号之间不是相互独立的,各个符号出现的概率是有关联的。
发出单个符号的离散信源:
信源每次只发出一个符号代表一个消息;
发出符号序列的离散信源:
信源每次发出一组含两个以上符号的符号序列代表一个消息。
将以上两种分类结合,就有四种离散信源:
(1)发出单个符号的无记忆离散信源;
(2)发出符号序列的无记忆离散信源;
(3)发出单个符号的有记忆离散信源;
(4)发出符号序列的有记忆离散信源。
离散信源的分类:
单个符号的离散信源:每次只发出一个符号代表一个消息,且消息数量有限
发出符号序列离散信源--每次发出一组含两个以上的符号序列来代表一个消息
实例:
离散无记忆信源 (DMS: Discrete Memoryless Source):
离散无记忆信源的特点:
①信源发出的各符号之间相互独立;
①发出的符号序列中各个符号之间没有统计关联性;
①各个符号的出现概率是它自身的先验概率。
离散无记忆信源编码与译码:
若对信源的每个不同的符号或不同的符号序列,编码后产生的码字不同,则称该码为唯一可译码。
待编码码组简单记为:
编码输出码组(码字)为:
编码进制:D
码元位数:n
信源种类:L(有L种不同的符号)
J个符号为一组编码
待编码的符号序列的不同组合个数为:
码字集中不同的码字个数:
编码输出为唯一可译码的(必要)条件:
对于码元取自码字长度为一个码字
其最大可携带的信息量为
定义:编码表示一个信源符号所需的平均信息量的定义为编码速率 R 。
码字长度为常数的编码称为等长编码,反之称为不等长编码。对长度为 J 的信源符号序列进行编码:
等长编码的编码速率:
不等长编码的编码速率:
其中为不等长编码的平均码长
信源的熵H(S ),与编码速率 R 的比值定义为编码效率
要保证编码没有信息丢失,要求
离散无记忆信源的等长编码:
等长编码:对信源的每个符号,或每组符号,用长度相等的代码来表示:
单个符号独立编码 ,采用D 进制码元编码,若信源符号集有 L 种符号,要保证译码的唯一性
扩展编码(联合编码):将 J 个信源符号进行联合编码:
离散无记忆信源(DMS)的有损等长编码:
无损的等长编码,往往会因为 J 的取值过大,难以实际应用
定义:典型序列集
信源划分定理:
典型序列集是一个高概率集,但其数目在整个序列空间中可能只占很小的比例
例题:
可达速率:
例题:
离散无记忆信源的不等长编码:
不等长编码的唯一可译性:
1)每个消息都至少有一个码字与之对应,且不同的消息对应不同的码字 ;
2) 对于一个码,如果存在一种译码方法,使任意若干个码字所组成的字母串只能唯一地被翻译成这几个码字所对应的事件序列,即码字的分点唯一确定。
逗点码 —见到逗号就识别为一个码字的开始:
若 ①事件与码字一一对应;
②每个码字的开头部分都是一个相同的字母串;
③这个字母串仅仅出现在码字的开头,不出现在码字的其它部位。则称这个字母串为逗号,称此码为逗点码。
异字头码 — 见到一个码字就立即识别:
若①事件与码字一一对应;
②每个码字都不是另一个码字的开头部分(字头)。
则称此码为异字头码。
码树:
异字头码(编码):
异字头码的优点:异字头码译码时具有即时性,即当收到一个完整的码字后即可译码,不用担心这一码字是另一码字的字头部分。
不等长编码的基本定理:
例题:
霍夫曼(Huffman)编码:
霍夫曼编码是一种异字头不等长编码,其基本思想是:对出现概率大的符号或符号组用位数较少的码字表示;对出现概率小的符号或符号组用位数较多的码字表示。由此可提高编码效率。
霍夫曼编码一种最佳的不等长编码。
霍夫曼编码的步骤:
例:
码字长度的均匀性和方差:
在同样的平均码字长度的情况下,码字长度越均匀,对传输越有利
编码过程的排序过程不同会影响码长的方差。
在编码过程中,当对缩减信源概率重新排列时,应使合并得到的局部概率和尽量使其处于最高位置;使得合并元素重复编码的次数减少,有利于降低码字长度的方差。
信息论复习—信源编码的基本方法相关推荐
- 数学复习全程规划及方法指导(武忠祥笔记)
本博文源于作者参加2023考研 文章目录 1.全程规划 1.1 课程体系(四轮进阶) 1.1.1 教材基础(21年9月-22年3月) 1.1.2 复习资料 1.1.3 考点精讲(22年4月-22年7月 ...
- 计算机知识怎么记忆,计算机二级考试复习记忆的好方法
全国计算机等级考试作为国内权威的计算机考试,受到企业的普遍认可,有什么好的复习记忆方法吗?下面是由小编给大家带来关于,希望对大家有帮助! 计算机二级考试复习记忆的方法 一.了解试卷,胸中有数 综观近几 ...
- java学习笔记20(Arraylist复习,Collection接口方法,迭代器,增强型for循环)
集合:集合是Java提供的一种容器,可以用来存储多个数据: 集合与数组的区别:集合的长度是可变的,数组的长度是固定的 集合中存储的数据必须是引用类型数据: ArrayList回顾: public cl ...
- javascript之复习(框架里的方法们)
继上次整理,一些东西没有整理完.就写在这.可能比较乱比较杂,因为都是整理的一些东西,也没有到做成专题的程度. 1.String.repeat() 大家要实现重复一个字符串的重复怎么写呢,反正我的第一想 ...
- 信息论复习—信息论的基本概念
信息的概念: 古代的信息技术: 现代的信息技术 信息与消息的关系: 消息:用文字.符号.数据.语言.音符.图片.图像等能够被人们感觉器官所感知的形式,把客观物质运动和主观思维活动的状态表达出来就称为消 ...
- 信息论复习—线性分组码的基本性质
目录 线性分组码: 非线性码示例: 线性码示例: 许用码字间的距离--码距: 码距与码的检错纠错能力之间的关系: 线性分组码的基本性质: 线性分组码的最小码距与最小码重的关系: 线性分组码的生成矩阵与 ...
- 信息论复习笔记(1):信息熵、条件熵,联合熵,互信息、交叉熵,相对熵
文章目录 1.1 信息和信息的测量 1.1.1 什么是信息 1.1.1 信息怎么表示 1.2 信息熵 1.3 条件熵和联合熵 The Chain Rule (Relationship between ...
- python聚类分析步骤_【复习】聚类分析的方法分类
注意: 1. 本行业案例课程为Python 3 数据分析系列课程的行业案例部分,学员请务必先观看课程介绍免费视频,确认已学习本课程所需Python分析技能. 2. 本课程的核心目的是协助学员学习具体业 ...
- 【信息科学技术与创新】数据压缩的理论方法与现实意义 信息论 压缩编码 通信的数学理论 Huffman编码 LZ算法 虚幻引擎与数据压缩
数据压缩的理论方法与现实意义 摘要 首先通过信息论引出数据压缩编码的理论方法 接着结合目前技术发展分析压缩编码的现实意义 最后总结思考未来通信与存储的压缩方法 Navigator 数据压缩的理论方法与 ...
最新文章
- 安徽建筑大学计算机专业年新,2017年安徽建筑大学计算机技术909数据结构[专业硕士]考研题库...
- Linux X Window 与命令行的切换
- mysql中索引类型索引方法_MYSQL索引的类型和索引的方式
- Java学习----运算符与表达式
- 计算机网络基础端口号,1 计算机网络基础练习
- 解决IE6中 PNG图片透明的终极方案-八种方案!
- 基于pyspark 大数据分析_基于阿里云平台的大数据教学案例 —— B站弹幕数据分析...
- 【动漫推荐】Specail A--特优生
- 探讨【IGE】的源代码【一】。
- VS2015,C++MFC建立可视化界面第一天
- 前端实时可视化工具livereload安装和使用
- 2014年 教师全员远程培训挂机 教师远程全员培训挂机 教师继续教育挂机 挂机软件 全国通用版...
- LSB信息隐藏的卡方分析
- 基于 Verilog 的经典数字电路设计(8)计数器
- stm32 移植 FreeRTOS
- 头条号想过新手,但指数却一直达不到650,该怎么过新手?
- 解决docker报错:listing workers for Build: failed to list workers: Unavailable: connection error: desc =
- PLC中ST语言的几种程序流程控制语句
- Python有参函数和无参函数实例
- [转]Unicode 汉字数据库