前言

LZ77算法是无损压缩算法,由以色列人Abraham Lempel发表于1977年。LZ77是典型的基于字典的压缩算法,现在很多压缩技术都是基于LZ77。鉴于其在数据压缩领域的地位,本文将结合图片和源码详细介绍其原理。

原理介绍:

首先介绍几个专业术语。

1.lookahead buffer(不知道怎么用中文表述,暂时称为待编码区):

等待编码的区域

2. search buffer:

已经编码的区域,搜索缓冲区

3.滑动窗口:

指定大小的窗,包含“搜索缓冲区”(左) + “待编码区”(右)

接下来,介绍具体的编码过程:

为了编码待编码区, 编码器在滑动窗口的搜索缓冲区查找直到找到匹配的字符串。匹配字符串的开始字符串与待编码缓冲区的距离称为“偏移值”,匹配字符串的长度称为“匹配长度”。编码器在编码时,会一直在搜索区中搜索,直到找到最大匹配字符串,并输出(o, l ),其中o是偏移值, l是匹配长度。然后窗口滑动l,继续开始编码。如果没有找到匹配字符串,则输出(0, 0, c),c为待编码区下一个等待编码的字符,窗口滑动“1”。算法实现将类似下面的:

while( lookAheadBuffer not empty )

{

get a pointer (position, match) to the longest match

in the window for the lookAheadBuffer;

output a (position, length, char());

shift the window length+1 characters along;

}

主要步骤为:

1.设置编码位置为输入流的开始

2.在滑窗的待编码区查找搜索区中的最大匹配字符串

3.如果找到字符串,输出(偏移值, 匹配长度), 窗口向前滑动“匹配长度”

4.如果没有找到,输出(0, 0, 待编码区的第一个字符),窗口向前滑动一个单位

5.如果待编码区不为空,回到步骤2

描述实在是太复杂,还是结合实例来讲解吧

实例:

现在有字符串“AABCBBABC”,现在对其进行编码。

一开始,窗口滑入如图位置

由图可见,待编码缓冲区有“AAB”三个字符,此时搜索缓冲区还是空的。所以编码第一个字符,由于搜索区为空,故找不到匹配串,输出(0,0, A),窗口右移一个单位,如下图

此时待编码区有“ABC”。开始编码。最先编码"A",在搜索区找到"A"。由于没有超过待编码区,故开始编码"AB",但在搜索区没有找到匹配字符串,故无法编码。因此只能编码"A"。

输出(1, 1)。即为相对于待编码区,偏移一个单位,匹配长度为1。窗口右滑动匹配长度,即移动1个单位。如下图

一样,没找到,输出(0, 0, B),右移1个单号,如下图

输出(0, 0, C),右移1个单位,如下图

输出(2, 1),右移1个单位,如下图

输出(3, 1), 右移1个单位,如下图

开始编码"A",在搜索缓冲区查找到匹配字符串。由于待编码缓冲区没有超过,继续编码。开始编码"AB",也搜索到。不要停止,继续编码“ABC”,找到匹配字符串。由于继续编码,则超过了窗口,故只编码“ABC”,输出(5, 3),偏移5,长度3。右移3个单位,如下图

此时待编码缓冲区为空,停止编码。

最终输出结果如下

python代码实现:

1 classLz77:2 def __init__(self, inputStr):3 self.inputStr = inputStr #输入流

4 self.searchSize = 5 #搜索缓冲区(已编码区)大小

5 self.aheadSize = 3 #lookAhead缓冲区(待编码区)大小

6 self.windSpiltIndex = 0 #lookHead缓冲区开始的索引

7 self.move =08 self.notFind = -1 #没有找到匹配字符串

9

10 #得到滑动窗口的末端索引

11 defgetWinEndIndex(self):12 return self.windSpiltIndex +self.aheadSize13

14 #得到滑动窗口的始端索引

15 defgetWinStartIndex(self):16 return self.windSpiltIndex -self.searchSize17

18 #判断lookHead缓冲区是否为空

19 defisLookHeadEmpty(self):20 return True if self.windSpiltIndex + self.move> len(self.inputStr) - 1 elseFalse21

22 defencoding(self):23 step =024 print("Step Position Match Output")25 while notself.isLookHeadEmpty():26 #1.滑动窗口

27 self.winMove()28 #2. 得到最大匹配串的偏移值和长度

29 (offset, matchLen) =self.findMaxMatch()30 #3.设置窗口下一步需要滑动的距离

31 self.setMoveSteps(matchLen)32 if matchLen ==0:33 #匹配为0,说明无字符串匹配,输出下一个需要编码的字母

34 nextChar =self.inputStr[self.windSpiltIndex]35 result = (step, self.windSpiltIndex, '-', '(0,0)' +nextChar)36 else:37 result = (step, self.windSpiltIndex, self.inputStr[self.windSpiltIndex - offset: self.windSpiltIndex - offset + matchLen], '(' + str(offset) + ',' + str(matchLen) + ')')38 #4.输出结果

39 self.output(result)40 step = step + 1 #仅用来设置第几步

41

42

43 #滑动窗口(移动分界点)

44 defwinMove(self):45 self.windSpiltIndex = self.windSpiltIndex +self.move46

47 #寻找最大匹配字符并返回相对于窗口分界点的偏移值和匹配长度

48 deffindMaxMatch(self):49 matchLen =050 offset =051 minEdge = self.minEdge() + 1 #得到编码区域的右边界

52 #遍历待编码区,寻找最大匹配串

53 for i in range(self.windSpiltIndex + 1, minEdge):54 #print("i: %d" %i)

55 offsetTemp =self.searchBufferOffest(i)56 if offsetTemp ==self.notFind:57 return(offset, matchLen)58 offset = offsetTemp #偏移值

59

60 matchLen = matchLen + 1 #每找到一个匹配串,加1

61

62 return(offset, matchLen)63

64 #入参字符串是否存在于搜索缓冲区,如果存在,返回匹配字符串的起始索引

65 defsearchBufferOffest(self, i):66 searchStart =self.getWinStartIndex()67 searchEnd =self.windSpiltIndex68 #下面几个if是处理开始时的特殊情况

69 if searchEnd < 1:70 returnself.notFind71 if searchStart <0:72 searchStart =073 if searchEnd ==0:74 searchEnd = 1

75 searchStr = self.inputStr[searchStart : searchEnd] #搜索区字符串

76 findIndex =searchStr.find(self.inputStr[self.windSpiltIndex : i])77 if findIndex == -1:78 return -1

79 return len(searchStr) -findIndex80

81 #设置下一次窗口需要滑动的步数

82 defsetMoveSteps(self, matchLen):83 if matchLen ==0:84 self.move = 1

85 else:86 self.move =matchLen87

88

89 defminEdge(self):90 return len(self.inputStr) if len(self.inputStr) - 1 < self.getWinEndIndex() else self.getWinEndIndex() + 1

91

92 defoutput(self, touple):93 print("%d %d %s %s" %touple)94

95

96

97

98 if __name__ == "__main__":99 lz77 = Lz77("AABCBBABC")100 lz77.encoding()

只是简单的写了下,没有过多考虑细节,请注意,这不是最终的代码,只是用来阐述原理,仅供参考。输出结果就是上面的输出(格式由于坑爹的博客园固定样式,代码位置有偏移,请注意)

参考文章:

以上几篇文章都是很好的讲解LZ77原理的,大家有兴趣的可以参考下。由于国内介绍该算法的比较少,故这些英文文章帮助还是挺大的。

python压缩算法_LZ77压缩算法编码原理详解(结合图片和简单代码)相关推荐

  1. python图片压缩原理_LZ77无损压缩算法原理详解(结合图片和简单代码)

    LZ77算法是无损压缩算法,由以色列人Abraham Lempel发表于1977年.LZ77是典型的基于字典的压缩算法,现在很多压缩技术都是基于LZ77.鉴于其在数据压缩领域的地位,本文将结合图片和源 ...

  2. Huffman 编码原理详解(代码示例)

    1.概述 huffman编码是一种可变长编码(  VLC:variable length coding))方式,于1952年由huffman提出.依据字符在需要编码文件中出现的概率提供对字符的唯一编码 ...

  3. python sklearn.decomposition.PCA 主成分分析, 原理详解

    引用文章1: 主成分分析(PCA)原理详解 https://blog.csdn.net/program_developer/article/details/80632779 引用文章2: 彻底理解样本 ...

  4. urlencode 与urldecode 函数字符编码原理详解

    中文字符编码研究系列第五期,详解 urlencode()与urldecode()函数字符编码原理,两个函数分别用于编码 URL 字符串和解码已编码的 URL 字符串,实现对中文字符的编码 <if ...

  5. Python机器学习中的数学原理详解(补充勘误表)

    数学是机器学习和数据科学的基础,任何期望涉足相关领域并切实领悟具体技术与方法的人都无法绕过数学这一关.在一篇题为<放弃幻想,搞AI必须过数学关>的网文中,作者一针见血地指出想从事AI相关工 ...

  6. Huffman编码原理详解

    转载自这里 1.概述      huffman编码是一种可变长编码(  VLC:variable length coding))方式,于1952年由huffman提出.依据字符在需要编码文件中出现的概 ...

  7. 8B/10B编码原理详解、Verilog实现及在JESD204B中的应用

    目录 1.8B/10B介绍 2.原理 3.Verilog实现 4.实例:在JESD204B中的应用 参考资料: 1.8B/10B介绍 8B/10B编码的目的是防止串行的数据出现长时间的连0连1,因为这 ...

  8. python 管线原理图_Q-Q图原理详解及Python实现

    QQ图是quantile-quantile(分位数-分位数图) 的简称,上面也有介绍它的两个主要作用: 1.检验一列数据是否符合正态分布 2.检验两列数据是否符合同一分布 Q-Q图的原理 要弄清Q-Q ...

  9. 活体检测眨眼、张嘴、点头、摇头动作一网打尽:人脸面部活体检测系统【含Python源码+PyqtUI界面+原理详解】

    基本功能演示 摘要:活体检测是用于判断捕捉到的人脸是真实人脸,还是伪造的人脸攻击的一种技术手段.本文详细介绍了其实现的技术原理,同时给出完整的Python实现代码,并且通过PyQT实现了UI界面,更方 ...

最新文章

  1. 关于对IPtables规则的理解
  2. springmvc3.2+spring+hibernate4全注解方式整合(一)
  3. java jsp页面如何添加C标签
  4. Spring基础专题——第二章(注入Injection)
  5. Visio绘制功能分解图
  6. Visual Studio Code 配置 Markdown
  7. 数据中心建设模式变革-- 如何采用EPC模式实现快速交付?
  8. Windows 2000缓冲区溢出入门
  9. 太实用了,4款常用的可视化大屏工具,你一定要知道!
  10. OpenSSL 修复高危的无限循环漏洞
  11. “新闻”频道“最新更新”有问题吗?
  12. java io 常用类库_JDK 中需要掌握的常用类库
  13. 反插值法求函数方程的根(内附代码及例题)
  14. yandex 插件_Yandex Metrika的Vue插件
  15. 【网络工程师精华篇】20个网络系统解决方案(含拓扑图),非常适合新手学习
  16. 炒币玩波段为什么一定要设置止损止盈?
  17. 一文搞懂什么是神经网络Neural Network【详细介绍】
  18. 一个新进前端小白实习僧的初次探索
  19. sdkd2019.3.20训练题目
  20. 150分钟学会R语言与R常见问题解答

热门文章

  1. linux识别UDF文件系统吗,Linux Kernel UDF文件系统本地缓冲区溢出漏洞
  2. 上海2014计算机职称考试理论题,2014年上海市高校计算机一级考试8套理论题含答案...
  3. 【软件开发底层知识修炼】二十八 C/C++中volatile的作用
  4. 温习了一下java线程状态方面的知识总结一
  5. Java 中的 Reference
  6. ansible的错误
  7. python --条件判断和语句控制
  8. AJAX中的跨域问题:什么是跨域?如何解决跨域问题?
  9. 自动编译失效的Oracle数据库对象
  10. XmlDocument类