LZ77算法是无损压缩算法,由以色列人Abraham Lempel发表于1977年。LZ77是典型的基于字典的压缩算法,现在很多压缩技术都是基于LZ77。鉴于其在数据压缩领域的地位,本文将结合图片和源码详细介绍其原理。

原理介绍:

首先介绍几个专业术语。

1.lookahead buffer(不知道怎么用中文表述,暂时称为待编码区):

等待编码的区域

2. search buffer:

已经编码的区域,搜索缓冲区

3.滑动窗口:

指定大小的窗,包含“搜索缓冲区”(左) + “待编码区”(右)

接下来,介绍具体的编码过程:

为了编码待编码区, 编码器在滑动窗口的搜索缓冲区查找直到找到匹配的字符串。匹配字符串的开始字符串与待编码缓冲区的距离称为“偏移值”,匹配字符串的长度称为“匹配长 度”。编码器在编码时,会一直在搜索区中搜索,直到找到最大匹配字符串,并输出(o, l ),其中o是偏移值, l是匹配长度。然后窗口滑动l,继续开始编码。如果没有找到匹配字符串,则输出(0, 0, c),c为待编码区下一个等待编码的字符,窗口滑动“1”。算法实现将类似下面的:

while( lookAheadBuffer not empty )

{

get a pointer (position, match) to the longest match

in the window for the lookAheadBuffer;

output a (position, length, char());

shift the window length+1 characters along;

}

主要步骤为:

1.设置编码位置为输入流的开始

2.在滑窗的待编码区查找搜索区中的最大匹配字符串

3.如果找到字符串,输出(偏移值, 匹配长度), 窗口向前滑动“匹配长度”

4.如果没有找到,输出(0, 0, 待编码区的第一个字符),窗口向前滑动一个单位

5.如果待编码区不为空,回到步骤2

描述实在是太复杂,还是结合实例来讲解吧

实例:

现在有字符串“AABCBBABC”,现在对其进行编码。

一开始,窗口滑入如图位置

由图可见,待编码缓冲区有“AAB”三个字符,此时搜索缓冲区还是空的。所以编码第一个字符,由于搜索区为空,故找不到匹配串,输出(0,0, A),窗口右移一个单位,如下图

此时待编码区有“ABC”。开始编码。最先编码”A”,在搜索区找到”A”。由于没有超过待编码区,故开始编码”AB”,但在搜索区没有找到匹配字符串,故无法编码。因此只能编码”A”。

输出(1, 1)。即为相对于待编码区,偏移一个单位,匹配长度为1。窗口右滑动匹配长度,即移动1个单位。如下图

一样,没找到,输出(0, 0, B),右移1个单号,如下图

输出(0, 0, C),右移1个单位,如下图

输出(2, 1),右移1个单位,如下图

输出(3, 1), 右移1个单位,如下图

开始编码”A”,在搜索缓冲区查找到匹配字符串。由于待编码缓冲区没有超过,继续编码。 开始编码”AB”,也搜索到。不要停止,继续编码“ABC”,找到匹配字符串。由于继续编码,则超过了窗口,故只编码“ABC”,输出(5, 3),偏移5,长度3。右移3个单位,如下图

此时待编码缓冲区为空,停止编码。

最终输出结果如下

python代码实现:

class Lz77:

def __init__(self, inputStr):

self.inputStr = inputStr #输入流

self.searchSize = 5    #搜索缓冲区(已编码区)大小

self.aheadSize = 3     #lookAhead缓冲区(待编码区)大小

self.windSpiltIndex = 0 #lookHead缓冲区开始的索引

self.move = 0

self.notFind = -1   #没有找到匹配字符串

#得到滑动窗口的末端索引

def getWinEndIndex(self):

return self.windSpiltIndex + self.aheadSize

#得到滑动窗口的始端索引

def getWinStartIndex(self):

return self.windSpiltIndex - self.searchSize

#判断lookHead缓冲区是否为空

def isLookHeadEmpty(self):

return True if self.windSpiltIndex + self.move> len(self.inputStr) - 1   else False

def encoding(self):

step = 0

print("Step   Position   Match   Output")

while not self.isLookHeadEmpty():

#1.滑动窗口

self.winMove()

#2. 得到最大匹配串的偏移值和长度

(offset, matchLen) = self.findMaxMatch()

#3.设置窗口下一步需要滑动的距离

self.setMoveSteps(matchLen)

if matchLen == 0:

#匹配为0,说明无字符串匹配,输出下一个需要编码的字母

nextChar = self.inputStr[self.windSpiltIndex]

result = (step, self.windSpiltIndex, '-',  '(0,0)' + nextChar)

else:

result = (step, self.windSpiltIndex, self.inputStr[self.windSpiltIndex - offset: self.windSpiltIndex - offset + matchLen], '(' + str(offset) + ',' + str(matchLen) + ')')

#4.输出结果

self.output(result)

step = step + 1        #仅用来设置第几步

#滑动窗口(移动分界点)

def winMove(self):

self.windSpiltIndex = self.windSpiltIndex + self.move

#寻找最大匹配字符并返回相对于窗口分界点的偏移值和匹配长度

def findMaxMatch(self):

matchLen = 0

offset = 0

minEdge = self.minEdge() + 1  #得到编码区域的右边界

#遍历待编码区,寻找最大匹配串

for i in range(self.windSpiltIndex + 1, minEdge):

#print("i: %d" %i)

offsetTemp = self.searchBufferOffest(i)

if offsetTemp == self.notFind:

return (offset, matchLen)

offset = offsetTemp #偏移值

matchLen = matchLen + 1  #每找到一个匹配串,加1

return (offset, matchLen)

#入参字符串是否存在于搜索缓冲区,如果存在,返回匹配字符串的起始索引

def searchBufferOffest(self, i):

searchStart = self.getWinStartIndex()

searchEnd = self.windSpiltIndex

#下面几个if是处理开始时的特殊情况

if searchEnd < 1:

return self.notFind

if searchStart < 0:

searchStart = 0

if searchEnd == 0:

searchEnd = 1

searchStr = self.inputStr[searchStart : searchEnd]  #搜索区字符串

findIndex = searchStr.find(self.inputStr[self.windSpiltIndex : i])

if findIndex == -1:

return -1

return len(searchStr) - findIndex

#设置下一次窗口需要滑动的步数

def setMoveSteps(self, matchLen):

if matchLen == 0:

self.move = 1

else:

self.move = matchLen

def minEdge(self):

return len(self.inputStr)  if len(self.inputStr) - 1 < self.getWinEndIndex() else self.getWinEndIndex() + 1

def output(self, touple):

print("%d      %d           %s     %s" % touple)

if __name__ == "__main__":

lz77 = Lz77("AABCBBABC")

lz77.encoding()

只是简单的写了下,没有过多考虑细节,请注意,这不是最终的代码,只是用来阐述原理,仅供参考。输出结果就是上面的输出。

参考文章:

以上几篇文章都是很好的讲解LZ77原理的,大家有兴趣的可以参考下。由于国内介绍该算法的比较少,故这些英文文章帮助还是挺大的。

python图片压缩原理_LZ77无损压缩算法原理详解(结合图片和简单代码)相关推荐

  1. python进阶装饰器_Python进阶: 通过实例详解装饰器(附代码)

    Python中的装饰器有很多用处,比如输出日志.参数检查.代理设置.计数计时.结果缓存等等.本文就通过几个装饰器例子,详细解释一下Python中装饰器的用法.一步步从简到繁学习装饰器用法 其他一些装饰 ...

  2. 常用无损压缩算法原理简析

    无损压缩算法原理 压缩一般分为两个步骤,建模和编码.一个完美的模型可以描述数据流是如何产生的,相当于一个python类里面的generator.只需要这个generator就可以产生所有数据,从而大大 ...

  3. 深入讲解音视频编码原理,H264码流详解——手写H264编码器

    音视频高手课08-H264 I帧 P帧 B帧及手写H264编码器 1 三种帧的说明 1.I 帧:帧内编码帧,帧表示关键帧,你可以理解为这一帧画面的完整保留:解码时只需要本帧数据就可以完成(因为包含完整 ...

  4. Sniff网络基础原理和软件实现技巧详解

    Sniff网络基础原理和软件实现技巧详解 前言 SNIFF真是一个古老的话题,关于在网络上采用SNIFF来获取敏感信息已经不是什么新鲜事,也不乏很多成功的案例,那么,SNIFF究竟是什么呢? SNIF ...

  5. 图像仿射变换原理1:齐次坐标来龙去脉详解

    ☞ ░ 老猿Python博文目录:https://blog.csdn.net/LaoYuanPython ░ 仿射变换博文传送门(带星号的为付费专栏文章): *图像仿射变换原理1:齐次坐标来龙去脉详解 ...

  6. 第41课:Checkpoint彻底解密:Checkpoint的运行原理和源码实现彻底详解

    第41课:Checkpoint彻底解密:Checkpoint的运行原理和源码实现彻底详解 一:Checkpoint到底是什么? 1,  Spark在生产环境下经常会面临Tranformations的R ...

  7. 2. IMU原理及姿态融合算法详解

    文章目录 2. IMU原理及姿态融合算法详解 一.组合 二. 原理 a) 陀螺仪 b) 加速度计 c) 磁力计 三. 旋转的表达 a) 欧拉角 b) 旋转矩阵 c) 四元数 d) 李群 SO(3)\t ...

  8. 【 卷积神经网络CNN 数学原理分析与源码详解 深度学习 Pytorch笔记 B站刘二大人(9/10)】

    卷积神经网络CNN 数学原理分析与源码详解 深度学习 Pytorch笔记 B站刘二大人(9/10) 本章主要进行卷积神经网络的相关数学原理和pytorch的对应模块进行推导分析 代码也是通过demo实 ...

  9. 【转】什么是场效应管(FET)-场效应管(FET)分类、原理、用途等知识详解

    什么是场效应管(FET)-场效应管(FET)分类.原理.用途等知识详解 场效应管和双极晶体管不同,它属于仅以电子或空穴中的一种载子动作的晶体管.按照结构.原理可以分为:1.接合型场效应管 2.MOS型 ...

最新文章

  1. Java忽略算术溢出,IEEE-754:“最小”溢出条件
  2. 安卓键盘加上数字_HHKB Professional HYBRID静电容键盘图赏
  3. Nhibernate和 Entity Framework 4优缺点
  4. log4net日志插件的使用
  5. 最全的 netcore 3.0 升级实战方案
  6. tomcat(12)org.apache.catalina.core.StandardContext源码剖析
  7. [Linux]守护进程(精灵进程)
  8. C语言的“编译时多态”
  9. POJ 1064 Cable master (二分答案)
  10. oracle缺少控制文件,关于oracle丢失控制文件的恢复办法
  11. html节点替换代码,html之DOM对象replaceChild()方法(子节点替换)功能简介说明
  12. 真正的英雄(罗纳德·里根在“挑战者号”航天飞机失事后的演讲词)
  13. 年终总结,怎么写领导才满意?
  14. 关于 Unbalanced calls to begin/end appearance transitions
  15. (二)Jointly Optimizing Diversity and Relevance in Neural Response Generation
  16. linux使用入门debian,Debian 7.7入门安装与配置
  17. Oracle和MySQL不同编码格式下varchar所能存储的中文数量
  18. CATIA CAA二次开发专题(八)---自定义特征模型
  19. [转]中国大学计算机专业考研分析
  20. linux下tree指令的用法

热门文章

  1. Frida调用静态函数和非静态函数
  2. 惊世奇谈:乾隆生父不是雍正而是康熙?
  3. android gson工具包,Android Study 之 彻底解决 Gson解析 异常
  4. 任务型对话系统(一)
  5. C++程序设计图书信息管理系统(页面)
  6. 有道云笔记markdown最好的转PDF格式文档方法
  7. JS面向对象(仿邮箱登录提示框)
  8. java 7编程高级进阶_Java7编程高级进阶-积累(1)
  9. 什么是手机号码姓名实名认证 手机号码查姓名 手机号实名认证API
  10. 海外自媒体多账号运营注意事项看这里!