香农编码与Huffman编码之间的对比

一.[上机目的]

二.[环境]

三.[上机原理]

四．[上机内容]

五.设计思路

5.1霍夫曼编码特点

5.2霍夫曼编码原理

5.3二进制哈夫曼编码过程

5.4计算结果

5.5霍夫曼编码的MATLAB编程实现.

5.6香农编码特点

5.7香浓编码算法实现及流程图

5.8香农编码的MATLAB编程实现.

六、[上机中出现的问题及解决方法]

七、[结果与结论]

7.1.实验结果

7.2.实验结论

八.[文献查阅报告]

8.1.常用的无失真信源编码分类：

8.2.语音压缩编码：

8.3.图像压缩编码：

参考文献

一.[上机目的]

1.加深对变长编码定理的理解与应用。

2.培养学生独立检索文献的能力，能通过相关文献了解常用信源编译码的基本原理与应用。

3.能分析不同的信源编码的编码性能和对通信有效性的影响。

二.[环境]

MATLAB

三.[上机原理]

1、香农第一定理：

设离散无记忆信源为

熵为H(S)，其N次扩展信源为

熵为H(SN)。码符号集X=（x1,x2,…,xr）。先对信源进行编码，总可以找到一种编码方法，构成惟一可以码，使S中每个信源符号所需的平均码长满足：

当时

2、常见的无失真信源编码有哈夫曼编码、算术编码、游程编码、LZ编码等；语音编码主要分为波形编码、参量编码、混合编码，PCM（ADPCM、DPCM）、增量调制等均属于波形编码，线性预测编码（LPC)及其它各种改进型属于参量编码，而混合编码是将波形编码和参量编码的优点结合起来，多脉冲激励线性预测编码MPLPC、规划脉冲激励线性预测编码（KPELPC)、码本激励线性预测编码（CELP)等属于混合编码，在移动通信系统中一般采用混合编码技术。例如GSM的PRE-LTP,CDMA的QCELP等。

四．[上机内容]

要求查阅常用的无失真信源编码、语音压缩编码和图像压缩编码的分类、基本特点，优缺点和应用情况的相关文献，并在上机报告中提交不少于1000字文献阅读报告，查阅文献数量不少于5篇，并要求附上文献目录及原文。说明：语音压缩编码重点查阅移动通信中的语音编码技术的相关资料。
利用MATLAB至少完成两种信源编码译码的仿真，并分析对比信源编码的编码性能及对系统有效性的影响，得出相关结论。

五.设计思路

5.1霍夫曼编码特点

由于哈夫曼编码总是以最小概率相加的方法来“缩减”参与排队的概率个数，因此概率越小，对缩减的贡献越大，其对于消息的码字也越长；最小概率相加的方法使得编码不具有唯一性，尤其是碰到存在几个消息符号有着相同概率的情况，将会有多种路径选择，亦即具有多种可能的代码组集合；尽管对同一信源存在着多种结果的哈夫曼编码，但它们的平均码长几乎都是相等的，因为每一种路径选择都是使用最小概率相加的方法，其实质都是遵循最佳编码的原则，因此哈夫曼编码是最佳编码。哈夫曼编码是一种最佳编码，实现也不困难，因此到目前为止它仍是应用最为广泛的无失真信源编码之一.

5.2霍夫曼编码原理

（1）将信源消息符号按其出现的概率从大到小依次排列：

P1 ≥ P2 ≥ ··· ≥ Pn

（2）取两个概率最小的符号分别配以0和1两个码元，并将这两个符号出现的概率相加作为一个新的符号的概率，与下一个未分配的二进制符号的字母重新排序。

（3）对重新排序后的两个概率最小符号重复步骤（2）。

（4）不断继续上述过程，直到最后两个符号配以0和1为止，并且最后两个符号的概率之和为1。

（5）从最后一级开始，向前返回得到各个信源符号所对应的码元序列，即相应的码字。霍夫曼编码就此完成。

Huffman 码是最佳变长编码，其编码算法及步骤如下：

第一步：将信源消息按照概率大小顺序排列。

第二步：从最小概率的两个消息开始编码，并给予一定编码规则，如对—对组合中的小概率的下支路编为 1，大概率的上支路编为（0 或相反：对下支路指定为 0，上支路指定为 1）。若两者概率相等，仍是按上述规则进行,如下支路为 1 上支路为 0(或下支路为 0 上支路1)；

第三步：将已编码的两个消息对应概率相加,并重新按概率大小排队,重复步骤二。

第四步：重复步骤三,直至合并概率达到 1.0 为止；画出由每个信源符号概率到 1.0 处的路径，记下沿路径的 1和 0；

第五步：编码的变长码是按后出先编方式，即从概率1.0 的树根沿编码路线逆行至对应的消息.

5.3二进制哈夫曼编码过程

设单符号离散无记忆信源如下，要求对信源编二进制哈夫曼码。

编码过程如下图：

在图中读取码字的时候，一定要从后向前读，此时编出来的码字才是可分离的异前置码。若从前向后读取码字，则码字不可分离。根据信源符号对应的码字，可以画出霍夫曼编码的码树图。

5.4计算结果

（1）平均码长：

（2）信源熵

（3）编码效率

综述所述，在霍夫曼编码过程中，对缩减信源符号按概率由大到小的顺序重新排列时，应使合并后的新符号尽可能排在靠前的位置，这样可使合并后的新符号重复编码次数减少，使短码得到充分利用，大大提高编码效率。

5.5霍夫曼编码的MATLAB编程实现.

5.5.1.程序流程图

5.5.2.Matlab主代码如下：

clear all
clc
% 用户输入符号概率
p = input('请输入离散信源概率分布，例如[0.5,0.5]：\n');
N = length(p);symbols = cell(1,N);
for i=1:N         % i表示第几个符号symbols{i} = ['x',num2str(i)];
end
[dict,L_ave] = huffmandict(symbols,p);
dict = dict.';
H = sum(-p.*log2(p));% 计算信源信息熵
yita = H/L_ave;      % 计算编码效率CODE = strings(1,N); % 初始化对应码字
for i=1:N            % i表示第几个符号CODE(i) = num2str(dict{2,i});
end% 展示输出码字、平均码长和编码效率
fprintf('\n运行结果:\n');
disp('信源符号：');disp(dict(1,1:N));
disp(['对应概率：',num2str(p)]);
disp('对应码字：');disp(CODE);
disp(['平均码长：',num2str(L_ave)]);
disp(['编码效率：',num2str(yita)]);

5.5.3.实现效果展示

由实验结果可知：

霍夫曼编码将输入的不同概率的输入转化成了不同的01编码，同时计算出来了对应的平均码长和编码效率。

5.6香农编码特点

香农编码是是采用信源符号的累计概率分布函数来分配字码的。香农编码是根据香农第一定理直接得出的，指出了平均码长与信息之间的关系，同时也指出了可以通过编码使平均码长达到极限值。香农第一定理是将原始信源符号转化为新的码符号，使码符号尽量服从等概分布，从而每个码符号所携带的信息量达到最大，进而可以用尽量少的码符号传输信源信息。

香农编码属于不等长编码，通常将经常出现的消息变成短码，不经常出现的消息编成长码，从而提高通信效率。香农编码严格意义上来说不是最佳码，它是采用信源符号的累计概率分布函数来分配码字。

5.7香浓编码算法实现及流程图

先将所有信源符号的概率按其概率的递减次序排列，然后计算每个信源符号的二元码码长，最后计算每个信源符号的累加概率，并变换成二进制小数得到其码字。

香农编码的算法实现：

（1）将信源符号按概率从大到小的顺序排列,

（2）令p(a0)=0,用Pa (ai)表示第i个码字的累加概率，

（3）确定满足下列不等式的整数Ki ,

（4）将Pa (ai)用二进制表示,并取小数点后Ki位作为符号ai的编码。

5.8香农编码的MATLAB编程实现.

clear all ，clc
% 用户输入符号概率
p = input('请输入离散信源概率分布，例如[0.5,0.5]：\n');
N = length(p);
L = ceil(-log2(p));% 获得码长向量，元素表示每个符号所对应的码长
% 获得累加概率P及对应码字
[p_SortDescend,reflect] = sort(p,'descend');% 将概率从大到小进行排序
%注：reflect所表示的映射关系很重要
P = zeros(1,N);     % 初始化累加概率
CODE = strings(1,N); % 初始化对应码字(字符串形式)
for i=1:N           % i表示排序后第几个符号code = zeros(1,L(reflect(i)));% 初始化对应码字（数组形式）if i==1         % 定义第一个编码为0P(1)=0;CODE(reflect(i)) = num2str(code);elseP(i) = sum(p_SortDescend(1,1:i-1)); % 获得累加概率end% 下面计算香农码（计算累加概率的二进制数，并取前Li位）p_count = P(i)*2;       % p_count用于逐步的计算累加概率的二进制数for m=1:L(reflect(i))   % m表示这个符号里第几个码字if p_count >= 1code(m) = 1;p_count = p_count-1;elsecode(m) = 0;endp_count = p_count*2;end% 将香农码赋值给对应的符号CODE(reflect(i)) = num2str(code);
endH = sum(-p.*log2(p));   % 计算信源信息熵
L_ave = sum(L.*p);      % 计算平均码长
yita = H/L_ave;         % 计算编码效率% 展示输出码字、平均码长和编码效率
fprintf('\n运行结果:\n');
disp(['信号符号: ',num2str(1:N)]);
disp(['对应概率: ',num2str(p)]);
fprintf('对应码字:');disp(CODE);
disp(['平均码长:',num2str(L_ave)]);
disp(['编码效率:',num2str(yita)]);

5.7.1实现效果展示

六、[上机中出现的问题及解决方法]

问题：在设计香农编码时，当在程序中输入信源符号序列时总是会报错无法运行或者运行后编码不正确。

解决方法：经过多次实验后发现，当输入信源符号的分布概率时，可以使程序运行稳定且编码后均为正确的。因此我修改了香农编码的输入，由原来的信源符号序列改为信源符号的分布概率，其中分布概率不需要人为计算，在Huffman编码的程序中有相应的代码可自动计算并返回。

七、[结果与结论]

7.1.实验结果

	信源1	信源2	信源3	信源4	信源5	信源6	信源7	信源8
信源熵（bit/符号）	2.91	3.32	3.53	2.86	2.69	3.03	3.15	3.36
香农编码的平均码长（二元码长/符号）	3.45	3.64	4.22	3.17	3	3.46	3.68	3.08
Huffman编码的平均码长（二元码长/符号）	3	3.36	3.56	2.92	2.79	3.08	3.15	2.95

表1 相同信源下，香农编码与Huffman编码的平均码长的比较

	信源1	信源2	信源3	信源4	信源5	信源6	信源7	信源8
信源熵（bit/符号）	2.91	3.32	3.53	2.86	2.69	3.03	2.89	2.75
香农编码的编码效率	0.8436	0.9128	0.836	0.9017	0.8975	0.8745	0.9084	0.9131
Huffman编码的编码效率	0.97	0.99	0.993	0.979	0.9665	0.9838	0.9783	0.9533

表2 相同信源下，香农编码与Huffman编码的编码效率的比较

	信源1	信源2	信源3	信源4	信源5	信源6	信源7	信源8
香农编码传信率（bit/s）	0.7427	0.7740	0.3573	0.8607	0.8346	0.9249	0.9234	0.8785
Huffman编码传信率（bit/s）	0.9903	0.9675	0.794	0.9694	0.9818	0.9668	0.9913	0.9672

表3 相同信道情况下，不同信源编码方式下的信息传输速率

7.2.实验结论

（1）相同信源，编码后平均码长：Huffman编码<香农编码；

（2）相同信源，编码效率：Huffman编码>香农编码；

（3）相同信源、相同信道情况下，传码率：Huffman编码>香农编码；

综上，得出结论，Huffman编码比香农编码的有效性更好。

八.[文献查阅报告]

8.1.常用的无失真信源编码分类：

常见的无失真信源编码有哈夫曼编码、算术编码、香农编码、费诺编码。

8.1.1哈夫曼编码

基本概念、特点：哈夫曼编码(Huffman Coding)，又称霍夫曼编码，是Huffman于1952年提出一种编码方法，一种可变字长编码(VLC)。该方法完全依据字符出现概率来构造异字头的平均长度最短的码字，有时称之为最佳编码。其基本原理是基于二叉树的编码思想，每一个输入符号都是哈夫曼树的一个节点，但这样就有可能出现不是唯一可以的情况。哈夫曼码是用概率匹配方法进行信源编码。它有两个明显特点：一是哈夫曼码的编码方法保证了概率大的符号对应于短码，概率小的符号对应于长码，充分利用了短码；二是缩减信源的最后二个码字总是最后一位不同，从而保证了哈夫曼码是即时码。哈夫曼变长码的效率是相当高的，它可以单个信源符号编码或用L较小的信源序列编码，对编码器的设计来说也将简单得多。但是应当注意，要达到很高的效率仍然需要按长序列来计算，这样才能使平均码字长度降低。
适用范围：使用范围较广。
优点：哈夫曼所构造的码字不是唯一的，对于同一个信息源，无论上述的前后顺序如何排列，它的平均码长是不会改变的，编码效率唯一性。哈夫曼编码是依据字符出现概率来构造异字头的平均长度最短的码字，比较精准。
缺点：在实际应用中存在着延迟和速率方面的问题，哈夫曼编码的稳定性比较差。如果改变其中一位数据就会产生改变。

8.1.2算术编码

（1）基本概念、特点：算术编码是一种无损数据压缩方法，也是一种熵编码的方法。和其他熵编码方法不同的地方在于，其他的熵编码方法通常是把输入的消息分割为符号，然后对每个符号进行编码，而算术编码是直接把整个输入的消息编码为一个数，一个满足（0.0≤n<1.0）的小数n。

（2）适用范围：信源符号个数不多且概率分布比较均匀的信源。

（3）优点：算数编码的理论性能可使平均符号代码长度接近符号熵，而且对二元信源的编码实现比较简单。在给定符号集和符号概率的情况下，算术编码可以给出接近最优的编码结果。

（4）缺点：由于实际计算机的精度不可能无限长，运算中很容易出现溢出的问题。算数编码是一种对错误很敏感的编码方法，如果有一位发生错误就会导致整个消息译错。

（5）应用：无失真图像压缩。

8.1.3香农编码

（1）基本概念、特点：香农编码是是采用信源符号的累计概率分布函数来分配字码的。香农编码是根据香农第一定理直接得出的，指出了平均码长与信息之间的关系，同时也指出了可以通过编码使平均码长达到极限值。香农编码属于不等长编码，只有当信源符号的概率分布使不等式左边的等号成立时，编码效率才达到最高，通常将经常出现的消息变成短码，不经常出现的消息编成长码，从而提高通信效率。香农编码严格意义上来说不是最佳码，它是采用信源符号的累计概率分布函数来分配码字。

（2）优点：对其他编码方法有很好的理论指导意义

（3）缺点：效率不高，实用性不大。

8.1.4费诺编码

（1）基本概念、特点：费诺码的编码方法实际上是一种构造码树的方法，是即时码但不一定是最佳码，费诺码考虑了信源的统计特性，使概率大的信源符号能对应码长较短的码字

（2）优点：考虑了信源特性，有效提高了编码效率。

（3）缺点：当信源符号较多时，若有一些符号概率分布很接近，分两大组的组合方法就会很多。可能某种分大组的结果，会使后面小组的“概率和”相差较远，从而使平均码长增加。

8.2.语音压缩编码：

8.2.1.PCM编码：

（1）基本概念、特点：PCM脉冲编码调制是数字通信的编码方式之一。主要过程是将话音、图像等模拟信号每隔一定时间进行取样，使其离散化，同时将抽样值按分层单位四舍五入取整量化，同时将抽样值按一组二进制码来表示抽样脉冲的幅值。进行采样、量化、编码三个步骤，完成数字音频的A/D转换。

（2）适用范围：广泛应用于通信、计算机、数字仪表、遥控遥测等领域。

（3）优点：音源信息保存完整，音质好。

（4）缺点：信息量大，体积大，冗余度过大。

（5）应用：数字音频的A/D转换。

8.2.2.参数编码：

（1）基本概念、特点：利用语音信息的数学模型，对语音信号的特征参数进行提取和编码。在解码的时候，按照语音信号的数学模型，根据特征参数重建语音信号。参数编码尽量使重建的语音信号的可懂度高，但是重建的信号波形与原始语音信号的波形相比，往往会差别很大

（2）适用范围：适用于信道较窄的通讯系统。

（3）优点：编码效率高，压缩比高。

（4）缺点：重建的语音信号自然度低、质量较差。

（5）应用：MPEG-4 标准中的 HVXC 声码器。

8.2.3.混合编码：

（1）基本概念、特点：混合编码是将波形编码和声码器原理结合起来，数码率约在4kbit/s-16kbit/s之间，音质比较好。

（2）适用范围：音频信号的数据压缩和图像信号的数据压缩

（3）优点：克服了波形编码与参数编码的弱点，并结合了波形编码的高质量和参数编码的低数据率的优点。

（4）缺点：需要在变换域(频率域)进行预测，处理上不方便

（5）应用：保密语音，移动通信，语音信箱等。

8.3.图像压缩编码：

8.3.1图像压缩编码原理:

图像数据的压缩机理来自两个方面:一是利用图像中存在大量冗余度可供压
缩;二是利用人眼的视觉特性。
    图像数据的冗余度又可以分为空间冗余、时间冗余、结构冗余、知识冗余
和视觉冗余几个方面。
    空间冗余:在一幅图像中规则的物体和规则的背景具有很强的相关性。
    时间冗余:电视图像序列中相邻两幅图像之间有较大的相关性。
    结构冗余和知识冗余:图像从大面积上看常存在有纹理结构，称之为结构冗余。
    视觉冗余:人眼的视觉系统对于图像的感知是非均匀和非线性的，对图像
的变化并不都能察觉出来。
人眼的视觉特性:
    亮度辨别阈值:当景物的亮度在背景亮度基础上增加很少时，人眼是辨别
不出的，只有当亮度增加到某一数值时，人眼才能感觉其亮度有变化。人眼刚
刚能察觉的亮度变化值称为亮度辨别阈值。
    视觉阈值:视觉阈值是指干扰或失真刚好可以被察觉的门限值，低于它就
察觉不出来，高于它才看得出来，这是一个统计值。
    空间分辨力:空间分辨力是指对一幅图像相邻像素的灰度和细节的分辨力，
视觉对于不同图像内容的分辨力不同。
    掩盖效应:“掩盖效应” 是指人眼对图像中量化误差的敏感程度，与图像信号变化的剧烈程度有关。
8.3.2.图像压缩编码的分类:
根据编码过程中是否存在信息损耗可将图像编码分为:
    无损压缩:又称为可逆编码(Reversible Coding)，解压缩时可完全回复原始数据而不引起任何失真;.
    有损压缩:又称不可逆压缩(Non-Reversible Coding)，不能完全恢复原始数据，一定的失真换来可观的压缩比。
根据编码原理可以将图像编码分为:
    熵编码:熵编码是编码过程中按熵原理不丢失任何信息的编码。熵编码基本原理是给出现概率大的信息符号赋予短码字，出现概率小的信息符号赋予长

码字，最终使得平均码长最小。常见熵编码方法有哈夫曼编码、算术编码和行

程编码(Run Length Encoding)。

预测编码:预测编码是根据离散信号之间存在着一定关联性的特点，利用

前面一个或多个信号预测下一个信号进行，然后对实际值和预测值的差(预测

误差)进行编码。预测编码可分为帧内预测和帧间预测，常见的预测编码有

差分脉码调制(DifferentialPulse Code Modulation， DPCM) 和自适应差分脉冲编码(Adaptive Differential Pulse Code Modulation， ADPCM) 。

变换编码:变换编码通常是将空域图像信号映射变换到另一个正交矢量空

间(变换域或频域)，产生一批变换系数，然后对这些变换系数进行编码处理。

图像信号在空域描述时，数据之间相关性大，冗余量大，经过变换到变换域中

去描述，数据相关性大大减少，冗余量减少，参数独立，数据量少，这样再进

行适当的量化和编码就能得到较大的压缩比。常用的正交变换有傅立(Fouries)

变换、正弦变换、余弦变换、哈尔(Haar)变换、沃尔什(Walsh)变换、斜(Slant)

变换和K-L(Karhunen-Loeve)变换等。

混合编码:混合编码是指综合使用了熵编码、预测编码或变换编码的编码

方法，如JPEG 标准和MPEG标准。

8.3.3.图像压缩编码方法介绍:

1、哈夫曼编码:

基本思想是统计一下灰度级的出现概率，建立一个概率统计表，将最常出现(概率大的)的灰度级用最短的编码，最少出现的灰度级用最长的编码。

步骤:将输入灰度级按概率大小由大到小排序:将最小的两个概率相加得到一

个新的概率集合，重复第1步，直到只有两个概率集合为止;反向分配码字。

特点:码值不唯一-;对不同概率分布的信源，哈夫曼编码的编码效率有所差别，对于二进制编码，当信源概率为2的负幂次方时，哈夫曼编码的编码效率

可达100%，其平均码字长度也很短，而当信源概率为均匀分布时，其编码效果

明显降低。需先计算图像数据的概率特性形成编码表后才对图像编码，因此缺

乏构造性。

2、预测编码

预测编码是根据离散信号之间存在着一定关联性的特点，利用前面一一个或多个信号预测下一个信号进行，然后对实际值和预测值的差(预测误差)进行

编码。如果预测比较准确，误差就会很小。在同等精度要求的条件下，就可以

用比较少的比特进行编码，达到压缩数据的目的。预测编码是比较易于实现的，

如差分脉冲编预测编码(Differential Pulse Code Modulation， DPCM) 方法。

在这种方法中，每一个像素灰度值，用先前扫描过的像素灰度值去减，求出他

们的差值，此差值称为预测误差，预测误差被量化和编码与传送。接收端再将

此差值与预测值相加，重建原始图像像素信号。由于量化和传送的仅是误差信号，根据一般扫描图像信号在空间及时间邻域内个像素的相关性，预测误差分
布更加集中，即熵值比原来图像小，可用较少的单位像素比特率进行编码，使.
得图像数据得以压缩。
3、变换编码:
    基本思想是先将空间域图像通过某种正交变换，获得- -系列变换系数。在
变换过程中，使图像变换系数能量相对集中，再对其变换系数，进行区域量化，
按其所含能量大小，分配以不同的数据量(比特数)去描述，如高能量区域赋予
多比特，反之，则短的比特数，这样可以提高压缩比。变换编码原理框图如图
所示。变换编码是一种图像有损编码。在能达到的压缩比和信息损失之间存在一
个折衷。一般情况下，人眼是信息丢失能否接受的最终裁判。对图像失真的定
量计算，如均方误差，往往和人眼的主观感觉不一致。
    常用的变换方法有DCT变换和WHT变换等。图像进行变换后，接下来要对
变换后的系数量化，在量化后才能对其编码。其中常用的系数量化方法有:区域
编码、行程编码、门限编码等。
    DCT变换的全称是离散余弦变换(Discrete Cosine Transform， DCT)。在傅立叶级数展开式中，如果被展开的函数是实偶函数，那么其傅立叶级数中只包含余弦项，再将其离散化可导出余弦变换。DCT是先将整体图像分成N*N(N=8或16)像素块，然后对N*N(N=8或16)像素块一-进行单独的DCT变换。由于大多
数图像的高频分量很小，相应于图像高频分量的系数经常为零，而且人眼对高
频成分的失真基本不容易分辨认来，所以可经过适当的量化。

参考文献

李梅,李亦农.信息论基础教程(第二版）[M].北京:北京邮电大学出版社,2008:111-114.
吴春花,姚合军.无失真信源的编码方法[J].信息安全与技术,2010(10):37-40.
王兵.无失真离散信源编码理论与数据压缩[J].情报学刊,1987(04):62-64.
张豫伟.无失真信源-信道联合编码[J].电子科技大学学报,1993(02):117-122.
李敏,何光普.无失真变长编码及其MATLAB实现[J].乐山师范学院学报,2006(12):28-30.
张晓梅.常见离散信源编码方法的比较[J].福建电脑,2009,25(05):64-66.
甘赟,冉涛.图像压缩编码技术及无损压缩的策略研究[J].电脑知识与技术
周春梅.语音压缩编码PCM[J].硅谷,2012(06):37.