Snappy

Snappy是在谷歌内部生产环境中被许多项目使用的压缩库，包括BigTable，MapReduce和RPC等。谷歌表示算法库针对性能做了调整，而不是针对压缩比或与其他类似工具的兼容性。在Intel酷睿i7处理器上，其单核处理数据流的能力达到250M/s-500M/s。Snappy同时针对64位x86处理器进行了优化，在英特尔酷睿i7处理器单一核心实现了至少250MB/s的压缩性能和500MB/ s的解压缩性能。Snappy对于纯文本的压缩率为1.5-1.7，对于HTML是2-4，当然了对于JPEG、PNG和其他已经压缩过的数据压缩率为1.0。谷歌强劲吹捧Snappy的鲁棒性，称其是“即使面对损坏或恶意输入也不会崩溃的设计”，并且在谷歌的生产环境中经过了PB级数据压缩的考验而稳定的。
官方网站：snappy | A fast compressor/decompressor

Snappy是一个压缩/解压缩库。它不旨在最大程度地压缩，也不旨在与任何其他压缩库兼容。相反，它的目标是非常高的速度和合理的压缩。例如，与zlib最快的模式相比，Snappy对于大多数输入而言要快一个数量级，但是生成的压缩文件要大20％至100％。在64位模式的Core i7处理器的单核上，Snappy的压缩速度约为250 MB / sec或更高，而解压缩的速度约为500 MB / sec或更高。

Snappy在Google内部广泛使用，从BigTable和MapReduce到我们的内部RPC系统，一应俱全。（在某些演示文稿等中，Snappy以前被称为“ Zippy”。）

有关更多信息，请参见README。源代码分发中包含针对其他一些压缩库（zlib，LZO，LZF，FastLZ和QuickLZ）的基准。源代码还包含一个正式的格式规范，以及一个框架格式的规范，该格式可用于Snappy数据的更高层次的框架和封装，例如，用于以流方式在HTTP上传输Snappy压缩的数据。请注意，Snappy发行版当前没有实现后者的代码，但是某些端口可以实现（请参见下文）。

Snappy用C ++编写，但包含C绑定，并且第三方维护与其他语言的多个绑定：

C#: Snappy for .NET (P/Invoke wrapper), Snappy.NET (P/Invoke wrapper), Snappy.Sharp (native reimplementation)
C port
C++ MSVC packaging (plus Windows binaries, NuGet packages and command-line tool)
Common Lisp: Library bindings, native reimplementation
Erlang: esnappy, snappy-erlang-nif
Go
Haskell
Haxe (C++/Neko)
iOS packaging
Java: JNI wrapper (including the framing format), native reimplementation, other native reimplementation (including the framing format)
Lua
Node.js (including the framing format)
Perl
PHP
Python (including a command-line tool for the framing format)
R
Ruby
Rust
Smalltalk (including the framing format)

Snappy在以下软件中已使用或可以作为替代软件使用：

MongoDB
Cassandra
Couchbase
Hadoop
LessFS
LevelDB (which is in turn used by Google Chrome)
Lucene
VoltDB

FastLZ

FastLZ是一个高效的轻量级压缩解压库，其官方测试数据如下表：

官方网站：http://www.quicklz.com/

LZO/miniLZO

LZO是一个开源的无损压缩C语言库，其优点是压缩和解压缩比较迅速占用内存小等特点（网络传输希望的是压缩和解压缩速度比较快，压缩率不用很高），其提供了比较全的LZO库和一个精简版的miniLZO库，网上测试数据如下：
测试的时候使用bmp和文本文件，在X86的Linux虚拟机（单核256M内存，Debian 6.0 OS）上测试。

测试文件	原始大小	压缩后大小	压缩率	压缩时间	解压时间
1.bmp	5292054	159395	3.01%	9.174ms	23.037ms
2.bmp	6912056	33806	0.489%	8.33ms	36.17ms
3.bmp	6220856	5101891	82%	25.78ms	28.43ms
lzo.tar	6645760	2457890	36.98%	34.68ms	38.62ms
kdoc.tar	16660480	6987402	41.93%	102.86ms	108.2ms
kinc.tar	18257920	5684927	31.13%	106.87ms	113.86ms

官方网站：http://www.oberhumer.com/opensource/lzo/

LZO Professional 是我们的商业LZO许可计划。
如果需要更好的压缩，则应查看出色的zlib库。zlib较慢，并且需要更多内存。
为了获得更好的压缩效果，请考虑使用随bzip2文件压缩程序一起分发的libbzip2。
文件压缩器应用程序lzop 使用LZO-与gzip非常相似，但速度更快。
lzop：http://www.lzop.org/

几个常用快速无损压缩算法性能比较相关推荐

视频压缩算法有哪些php,常用的无损压缩算法有哪些
常用的无损压缩算法有:1.LZ77算法,该算法是很多其他无损压缩算法的基础:2.LZR算法,是旨在提升LZ77的一个算法:3.LZSS算法,该算法目标是成为LZ77的一个线性时间替换算法:4.DEFL ...
常用无损压缩算法原理简析
无损压缩算法原理压缩一般分为两个步骤,建模和编码.一个完美的模型可以描述数据流是如何产生的,相当于一个python类里面的generator.只需要这个generator就可以产生所有数据,从而大大 ...
十种常用的图像压缩算法。
本文来源新机器视觉数据压缩是保留相同或绝大部分数据前提下减小文件大小的过程.它的原理是消除不必要的数据或以更高效的格式重新组织数据.在进行数据压缩时,你可以选择使用有损方法或无损方法.有损方法会 ...
10个快速优化Web性能的手段
优化网站的性能需要花费大量的时间,并且如果要根据自己的需求进行优化则花费的时间可能更多. 在本文中,我将向你展示 10 个快速优化 Web 性能的手段,能在 5 分钟内用于你自己的网站.这些捷径对你的 ...
腾讯会议核心数据库TDSQL，如何做到快速无损在线扩容？
自去年12月底发布后,腾讯会议40天更新14个版本,8天紧急扩容超过10万台云主机,投入的计算资源超100万核.疫情复工期间,每周都有数万家企业和政府相关机构使用腾讯会议复工复产,通过腾讯会议开拓了云 ...
三步法助你快速定位网站性能问题
本文分享自华为云社区<在瀑布下用火焰烤饼:三步法助你快速定位网站性能问题>,原文作者:Kagol . 引言性能,是一个问题. 每个项目成长到一定的规模,都几乎必然要遇到性能问题,当遇到性 ...
快速无损原样提取PDF文档中的图片
网上已经有很多提取PDF文档图片的工具了,但是这些工具要么就是非常庞大,要么就是速度很慢,要么就是导出的图片失真,我对这些工具均不满意,因此为PDF补丁丁开发了快速.无损地提取PDF文档图片的功能. ...
zstd - 一种由Facebook使用的快速数据压缩算法
Zstandard是一个快速的实时无损数据压缩算法和压缩工具,它提供了由Facebook开发的高压缩比. 分类:Linux命令操作系统 2018-06-09 00:00:00 Zstandard ( ...
无损压缩算法专题——miniLZO
目录一.miniLZO介绍二.miniLZO的使用三.VS2013下文件压缩和解压测试四.STM32F103ZET6平台下的测试五.总结六.参考资料一.miniLZO介绍 miniLZO ...
zstd安装_zstd - 一种由Facebook使用的快速数据压缩算法
Zstandard (也被称为zstd )是一款免费的开源,快速实时数据压缩程序,具有更好的压缩比,由Facebook开发. 它是用C语言编写的无损压缩算法 (在Java中有一个重新实现) - 因此它 ...

几个常用快速无损压缩算法性能比较

Snappy

FastLZ

LZO/miniLZO

几个常用快速无损压缩算法性能比较相关推荐

最新文章

热门文章