hadoop2.2支持snappy压缩安装及配置

由于我们的生产环境没有root用户使用权限，且为了不在所有主机上安装一些依赖插件，因此我启用了使用hadoop native本地库，即在core-site.xml中配置了：

<property>
<name>hadoop.native.lib</name>
<value>true</value>
</property>

就因为这个配置，导致按照网上的方式不成功，灵机一动想到这点，才将问题解决，下面详细介绍，基于google snappy官方介绍https://code.google.com/p/hadoop-snappy/，我稍微做下改动，这个改动也是因为启用 native本地库才做的改动。

1. Requirements: gcc c++, autoconf, automake, libtool, Java 6, JAVA_HOME set, Maven 3

yum install gcc c++, autoconf, automake, libtool
jdk，我使用的是java7，配置环境变量就可
maven，下载tar.gz包解压后设置环境变量可直接使用
2. Build/install Snappy (http://code.google.com/p/snappy/)

解压后configure && make && make install

3. Build Hadoop Snappy

$ mvn package
4.拷贝编译好的文件到hadoop环境

$cp -r /opt/hadoop-snappy-master/target/hadoop-snappy-0.0.1-SNAPSHOT-tar/hadoop-snappy-0.0.1-SNAPSHOT/lib/hadoop-snappy-0.0.1-SNAPSHOT.jar $HADOOP_HOME/lib/
$cp -r /opt/hadoop-snappy-master/target/hadoop-snappy-0.0.1-SNAPSHOT-tar/hadoop-snappy-0.0.1-SNAPSHOT/lib/native/Linux-i386-32/* $HADOOP_HOME/lib/native/
5.修改配置文件core-site.xml

<property>
        <name>io.compression.codecs</name>
        <value>
          org.apache.hadoop.io.compress.GzipCodec,
          org.apache.hadoop.io.compress.DefaultCodec,
          org.apache.hadoop.io.compress.BZip2Codec,
          org.apache.hadoop.io.compress.SnappyCodec
        </value>
</property>

6.修改配置文件mapred-site.xml（我只是增加了下面的一项，还有一项可配置mapreduce.output.fileoutputformat.compress）

<property>
    <name>mapreduce.map.output.compress</name>
    <value>true</value>
  </property>

<property>
    <name>mapreduce.map.output.compress.codec</name>
    <value>org.apache.hadoop.io.compress.SnappyCodec</value>
  </property>

7.重启yarn和hdfs

8.实验

hadoop jar ./hadoop-mapreduce-examples-2.2.0.jar wordcount hdfs://node1:8020/input hdfs://node1:8020/output2（wordcount程序，都知道怎么用吧？）

如果不报错，证明就安装成功了。

hadoop2.2支持snappy压缩安装及配置相关推荐

unbound支持ecs版本安装，配置
安装的系统:release 7.8.2003 (可以使用cat /etc/centos-release查看,uname 不全) 先实验,是不是最新版本的unbound即已经支持ecs.(验证过最新版 ...
hadoopsnappy解压_Hadoop Snappy 压缩的安装和配置
snappy是google的一个开源的压缩库,在合理的压缩率的前提下提供了提供了一个很高的压缩/解压的速度,利用单颗Intel Corei7处理器内核处理达到每秒处理250MB~500MB的数据流.s ...
【NPS】安装和配置
nps可以说是用户界面做的最好的,安装也是非常的简单! nps是一款轻量级.功能强大的内网穿透代理服务器. 支持tcp.udp流量转发,支持内网http代理.内网socks5代理,同时支持snappy ...
Centos安装和配置NPS
nps可以说是用户界面做的最好的,安装也是非常的简单! nps是一款轻量级.功能强大的内网穿透代理服务器. 支持tcp.udp流量转发,支持内网http代理.内网socks5代理,同时支持snappy ...
cdh编译安装支持各种压缩格式
在安装CDH版本的hadoop的时候, 我们下载下来的CDH的hadoop安装包中, 并没有native包,不支持各个任务阶段的压缩功能,但在生产任务中是必须要支持压缩功能的,所以要对CDH进行编译以 ...
单机hbase-2.4.15配置snappy压缩
单机hbase配置snappy压缩前言 1. 过程比较坎坷,网上帖子说法不一,以下过程是参考几个帖子亲自走过一遍,并最终可以成功建表.2. 本人安装的所有目录均为/data/test-hbase,涉 ...
hadoop3.x支持LZO压缩配置
前提在hadoop中使用lzo的压缩算法可以减小数据的大小和数据的磁盘读写时间,不仅如此,lzo是基于block分块的,这样他就允许数据被分解成chunk,并行的被hadoop处理.这样的特点,就可 ...
hadoop2.2.0 集群安装配置
本集群由6台虚拟机组成,全部安装centos6.4的32位系统. 一.前期工作 1.修改Linux主机名 2.修改IP 3.修改主机名和IP的映射关系 4.关闭防火墙 5.ssh免登陆 6.安装JDK ...
centos7.4下安装配置PHP服务(源码安装)并配置nginx支持php
一.检查php是否已经安装,使用php -v,是否能够看到版本号,或者使用rpm -qa | grep php查看是否安装过. # yum remove php* -y 二.依赖包安装 Linux软件 ...

hadoop2.2支持snappy压缩安装及配置

hadoop2.2支持snappy压缩安装及配置相关推荐

最新文章

热门文章