Snappy Installer

线上集群磁盘不够，集群多次报警，采用snappy压缩格式压缩磁盘文件,缓解集群压力

1.压缩比较

在这只列出两种比较争议的压缩格式比较

lzo压缩

压缩/解压速度也比较快，合理的压缩率；

支持split，是hadoop中最流行的压缩格式(需要建索引，文件修改后需要重新建索引)；

支持hadoop native库；

可以在linux系统下安装lzop命令，使用方便；

压缩率比gzip要低一些；

hadoop本身不支持，需要安装；

在应用中对lzo格式的文件需要做一些特殊处理（为了支持split需要建索引，还需要指定inputformat为lzo格式）；

因此适用于较大文本的处理

snappy压缩

高速压缩速度和合理的压缩率；

支持hadoop native库；

不支持split;

压缩率比gzip要低；

hadoop本身不支持，需要安装；

linux系统下没有对应的命令

因此1) 当mapreduce作业的map输出的数据比较大的时候，作为map到reduce的中间数据的压缩格式；2)或者作为一个mapreduce作业的输出和另外一个mapreduce作业的输入; 3)snappy 虽然对于文本格式不具有split特性，但是对于SequenceFile 及Avro格式，Parquet存储来说依然具有split特性

为什么选择 sanppy

Cloudera 推荐使用snappy

Snappy often performs better than LZO. It is worth running tests to see if you detect a significant difference.

For MapReduce, if you need your compressed data to be splittable, BZip2 and LZO formats can be split. Snappy and GZip blocks are not splittable, but files with Snappy blocks inside a container file format such as SequenceFile or Avro can be split. Snappy is intended to be used with a container format, like SequenceFiles or Avro data files, rather than being used directly on plain text, for example, since the latter is not splittable and cannot be processed in parallel using MapReduce. Splittability is not relevant to HBase data.

Snappy通常比LZO表现更好。值得运行测试以确定您是否发现了显着差异。
对于MapReduce，如果需要拆分压缩数据，可以拆分BZip2和LZO格式。Snappy和GZip块不可拆分，但可以拆分容器文件格式（如SequenceFile或Avro）中带有Snappy块的文件。Snappy旨在与容器格式（如SequenceFiles或Avro数据文件）一起使用，而不是直接在纯文本上使用，例如，因为后者不可拆分且无法使用MapReduce并行处理。可拆分性与HBase数据无关。

Google官网

On a single core of a Core i7 processor in 64-bit mode, Snappy compresses at about 250 MB/sec or more and decompresses at about 500 MB/sec or more.

在64位模式的Core i7处理器的单核上，Snappy以大约250 MB /秒或更高速度压缩，并以大约500 MB /秒或更高速率进行解压缩。

2. 使用后的测试

3.安装snappy

查看snappy安装包 yum search snappy

安装snappy

yum install snappy-devel.i686

然后在 whereis libsnappy

4.将snappy 本地库编译入hadoop

下载hadoop-snappy源码

A Hadoop library of Snappy compression

Hadoop-Snappy is a project for Hadoop that provide access to the snappy compression. http://code.google.com/p/snappy/

This project is integrated into Hadoop Common (JUN 2011).

Hadoop-Snappy can be used as an add-on for recent (released) versions of Hadoop that do not provide Snappy Codec support yet.

Hadoop-Snappy is being kept in synch with Hadoop Common.

Snappy压缩的Hadoop库

Hadoop-Snappy是一个Hadoop项目，提供对snappy压缩的访问。http://code.google.com/p/snappy/

该项目已集成到Hadoop Common（JUN 2011）中。

Hadoop-Snappy可以用作最近（已发布）Hadoop版本的附加组件，但尚未提供Snappy Codec支持。

Hadoop-Snappy与Hadoop Common保持同步。

下载hadoop-snappy发现源码官方已取消

往下发现 2011年后 Hadoop-Snappy与Hadoop Common保持同步，

也就是说我们下载Hadoop-Common 就可以了

下载hadoop 源码

https://github.com/apache/hadoop/tree/branch-2.7.3

打包路径

hadoop/hadoop-common-project/hadoop-common

打包 hadoop-common

mvn clean package -Pdist,native -DskipTests -Dtar -Drequire.snappy

编译问题

需要安装protobuf ,下面是jar包

https://github.com/protocolbuffers/protobuf/releases/tag/v2.5.0

$ ./configure --prefix=/data/soft/protoc

$ make

$ make check

$ make install

别忘配置环境变量

$ vim ~/.bashrc

export PROTOC_HOME=/data/soft/protoc

export PATH=$PATH:$PROTOC_HOME/lib

然后，

$protoc --version

libprotoc.2.5.0

成功

查看重新编译后的native

hadoop/hadoop-common-project/hadoop-common/target/hadoop-common-2.7.3/lib/native

将重新编译的native 整个复制到服务器hadoop的 lib/native下

配置文件修改：

配置mapred-site.xml,仅配置map部分：

开启map 输出压缩，会导致spark 启动新任务发生warn hadoop snappy 以来缺失（安全起见也可以不开map 输出压缩，如果有需要单独开启spark snappy 需要另配，在下一篇博客中会有）

<name>mapred.compress.map.output</name>

</property>

<name>mapred.map.output.compression.codec</name>

<value>org.apache.hadoop.io.compress.SnappyCodec</value>

</property>

开启 MapReduce 输出压缩

如果你们公司用的hadoop 生态圈组件为数据基础，那么对应 spark,druid，hbase，es等容器可能会出现一些文件读取解压等问题，需要进一步配置或者处理（优化方案不开启MapReduce 输出压缩）

<name>mapred.output.compress</name>

</property>

<name>mapred.output.compression.codec</name>

<value>org.apache.hadoop.io.compress.SnappyCodec</value>

</property>

将集群每个节点做同步，重启集群

5.snappy 验证

hadoop checknative

验证map snappy 输出压缩是否生效，下图选中部分为map输出文件大小

/wordcount/in 自己上传文件到hdfs，我选的是log文件

/wordcount/out2 文件在hdfs 上不能存在

bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar wordcount /wordcount/in /wordcount/out2

验证 hbase snappy 是否生效

/wordcount/out2 是在hadoop snappy压缩的文件

bin/hbase org.apache.hadoop.hbase.util.CompressionTest hdfs://hadoopcluster/wordcount/out2/part-r-00000 snappy

Snappy Installer相关推荐

01-SNAP与snappy介绍及安装
转载自:https://blog.csdn.net/lidahuilidahui/article/details/99679554 01-SNAP与snappy介绍及安装前言关于SNAP SNAP ...
LabVIEW生成应用程序（exe）和安装程序（installer）
目录 1.生成应用程序(exe) 2.生成安装程序(installer) 使用LabVIEW编写好的程序最后往往需要将程序拿到目标电脑上去运行,如何将程序从开发电脑上移植到目标电脑上呢?有两种方法: ...
Qt Installer Framework实战
Qt Installer Framework是Qt发布的安装程序支持框架,只需要简单的配置就可以生成安装文件,同时可以通过javascript脚本来定制安装过程. 目录结构 config packag ...
安装JDK出现Windows Installer程序包有问题，此安装需要的DLL不能运行...
之前改动了jdk1.6的安装位置,结果卸载的时候无法卸载,重新安装也不行,都提示windows installer 程序包有问题,如图所示首先确保windows installer服务是开启的,运行 ...
MFC libraries are required for this project. Install them from the Visual Studio installer (Individu
MFC libraries are required for this project. Install them from the Visual Studio installer (Individu ...
报错解决：undefined reference to `snappy::MaxCompressedLength(unsigned long)'
下午在编译phxpaxos的样例时报错了,报错如下: g++ echo_sm.o echo_server.o main.o -o phxecho -L/home/zhang/phxpaxos/.lib ...
解决Windows Installer的错误
最近好几个朋友先后遇到了一个奇怪的问题.在安装或卸载一些应用程序时,系统居然提示Windows Installer错,不能完成相应操作.直到前2天我给老板升级Office 2003时也遇到了同样的问题 ...
windows installer清理实用工具
今天编译了一个程序,一个Windows Service卸载命令写错了,导致这个程序不能正常卸载. 只好手动卸载这个Windows Service,之后再卸载程序,依然不能卸载.最后只好使用MSICUU ...
Advanced Installer 打包程序并支持自动升级
参考: Advanced Installer 打包Winform程序转载于:https://www.cnblogs.com/IKang8701348/p/9988161.html
snappy 在linux安装及使用
为什么80%的码农都做不了架构师?>>> Step1 : download and install snappy If you didn't install snappy un ...

Snappy Installer

Snappy Installer相关推荐

最新文章

热门文章