Hadoop 安装snappy（编译源码）

首先，由于下载的hadoop一般都是编译好的，不支持snappy压缩，因此，我们需要下载未编译的hadoop进行编译，然后自己设置支持的压缩格式。以下开始详细配置：

安装之前 hadoop checknative -a

1.准备

###安装其中部分基础软件的命令：

yum -y install gcc gcc-c++ libtool cmake maven zlib-devel

下载maven ，snappy1.1.1，protobuf-2.5.0.tar.gz，以及Hadoop未编译的源码。

一．首先去官网下载未编译的hadoop版本（hadoop-src.*的）

https://archive.apache.org/dist/hadoop/common/hadoop-2.5.0/

默认的编译好的文件不支持snappy压缩，因此我们需要自己重新编译

下载snappy

https://src.fedoraproject.org/repo/pkgs/snappy/snappy-1.1.1.tar.gz/8887e3b7253b22a31f5486bca3cbc1c2/

下载protobuf-2.5.0

https://github.com/google/protobuf/releases/tag/v2.5.0

下载maven3.6.2

http://maven.apache.org/download.cgi

二.首先安装maven ,解压后需要进行环境变量的配置

tar -zxvf maven-3.6.2.tar.gz

vi /etc/profile

检测是否安装成功

mvn -version

然后需要配置一下maven/conf/setting.xml文件（设置路径，设不设置都可以）

修改下载源（注意不要在注释内修改了）

nexus-aliyun central Nexus aliyun http://maven.aliyun.com/nexus/content/groups/public

三.安装snappy

先解压安装包，然后进入snappy目录下

./configure

make

make install (注意，如果不是在root用户下需要加上sudo权限，否则会报错，我研究了很久呢)

如果没有出现ERROR就说明已经安装成功了。。。。

四。安装protobuf，使用以下命令

# tar -zxvf protobuf-2.5.0.tar.gz
# cd protobuf-2.5.0
# ./configure
# make

#make install

# protoc --version
libprotoc 2.5.0

五.编译源文件，下载好的源文件是hadoop-2.5.0-src.tar.gz

第一次编译使用的命令是：

mvn package -DskipTests -Pdist,native -Dtar -Dsnappy.lib=/usr/local/lib -Dbundle.snappy

第一次编译时候报错Hadoop Failed to execute goal org.apache.maven.plugins:maven-javadoc-plugin:2.10.4:jar

[ERROR]Failed to execute goal org.apache.maven.plugins:maven-enforcer-plugin:1.3.1:enforce (default) on project hadoop-main: Some Enforcer rules have failed. Look above for specific messages explaining why the rule failed. -> [Help 1]然后提示编译文件的某一个java代码报错，但是我修改之后，依然会出现其他的错误。查资料之后

使用下面的编译命令

解压之后，进入hadoop-2.5.0-src/

然后使用如下编译命令：

mvn clean install -DskipTests -Dmaven.javadoc.skip=true -Dmaven.javadoc.skip=true -Dbundle.snappy

（编译时间比较长，编译完成之后，默认文件在/usr/local/lib目录下）

配置 core-site.xml

添加如下命令：

mapreduce.map.output.compress.codec

org.apache.hadoop.io.compress.SnappyCodec

拷贝到hadoop目录下的lib/native/ 目录下

查看是否安装成功

hadoop checknative -a

Hadoop 安装snappy（编译源码）相关推荐

64位centos 下编译 hadoop 2.6.0 源码
64位os下为啥要编译hadoop就不解释了,百度一下就能知道原因,下面是步骤: 前提:编译源码所在的机器,必须能上网,否则建议不要尝试了一. 下载必要的组件 a) 下载hadoop源码 (当前最新 ...
linux7安装haproxy,Centos7 源码编译安装haproxy
Centos7 源码编译安装haproxy 操作环境: 一台haproxy主机地址为:192.168.80.100 两台web服务器地址分别为:192.168.80.102 192.168.80.10 ...
CentOS中通过编译源码包的方式安装Git
场景这里介绍通过源码包安装的方式源码文件下载地址: - 地址1:https://www.kernel.org/pub/software/scm/git/ - 地址2:https://github. ...
android 代码发adb,Android预安装软件adb命令编译源码
Android预安装软件&adb命令&编译源码发布时间:2020-06-02 17:28:41 来源:51CTO 阅读:895 作者:年少的风 1.预安装软件: 将eclipse下的 ...
mysql 5.7 源码编译安装_mysql-5.7.*源码编译安装
mysql-5.7.*源码编译安装系统安装条件官方文档说明:http://dev.mysql.com/doc/refman/5.7/en/source-installation.html 1> ...
ubuntu中手动编译源码安装Xorg-server过程中依赖关系的解决
ubuntu中手动编译源码安装Xorg-server过程中依赖关系的解决在linux系统中手动编译源码安装软件包的过程是非常痛苦的,然而这一个多星期以来我是强忍住脾气体验了一把,虽然面对慢的令人发指 ...
Ubuntu下Ruby的下载和编译源码安装
1.Ruby的下载 Ruby可以在 Ruby 官网上下载,如果想获取更多的Ruby版本,可以到淘宝镜像网站下载. 2.Ruby的编译源码安装解压首先把下载下来的源码压缩包解压到自己指定的目录编译 ...
mac 编译源码安装 opencv
无法直接 brew install opencv时,可以按照本教程安装. 第一步:brew install cmake 第二步:编译源码安装 opencv,参照Mac系统下的Opencv开发环境搭建- ...
Ubuntu下android-4.0.3_r1源码下载，阅读工具安装配置，源码编译详解
备注: android源码动辄6.7G,新版本的则10G左右,所以要有足够大的硬盘空间. android应用开发环境搭建:http://www.cnblogs.com/pharen/archive/2 ...
FFmpeg入门详解之104：Win10快速安装OpenSSL（不用编译源码）
win10x64安装OpenSSL:不用编译源码网上一堆的教程教你去下载opensll源代码并用vs进行编译,虽然我有安装vs2015,但是看到那么长的编译步骤,太心累了. 懒人只得找简单的方法,最 ...

Hadoop 安装snappy（编译源码）

第一次编译时候报错Hadoop Failed to execute goal org.apache.maven.plugins:maven-javadoc-plugin:2.10.4:jar

Hadoop 安装snappy（编译源码）相关推荐

最新文章

热门文章