Hadoop-LZO 编译步骤

一、环境准备

maven（下载安装，配置环境变量，修改sitting.xml加阿里云镜像）
gcc-c++
zlib-devel
autoconf
automake
libtool

通过yum安装即可：yum -y install gcc-c++ lzo-devel zlib-devel autoconf automake libtool

二、下载、安装并编译 LZO

点击下载 LZO： http://www.oberhumer.com/opensource/lzo/download/lzo-2.10.tar.gz
解压：tar -zxf lzo-2.10.tar.gz
cd lzo-2.10
./configure -prefix=/usr/local/hadoop/lzo/
make
make install

三、编译 hadoop-lzo 源码

下载 hadoop-lzo 的源码，点击直接下载：https://github.com/twitter/hadoop-lzo/archive/master.zip
解压之后，修改 pom.xml：<hadoop.current.version>2.7.2</hadoop.current.version>

声明两个临时环境变量：

export C_INCLUDE_PATH=/usr/local/hadoop/lzo/include
export LIBRARY_PATH=/usr/local/hadoop/lzo/lib

编译：进入hadoop-lzo-master，执行maven编译命令：mvn package -Dmaven.test.skip=true
进入target，hadoop-lzo-0.4.21-SNAPSHOT.jar 即编译成功的hadoop-lzo组件

Hadoop-LZO 编译步骤相关推荐

Hadoop LZO压缩配置
1.压缩配置 1)hadoop本身并不支持lzo压缩,故需要使用twitter提供的hadoop-lzo开源组件.hadoop-lzo需依赖hadoop和lzo进行编译,编译步骤如下. Hadoop支 ...
FFmpeg简介及在vc2010下编译步骤
FFmpeg是一个开源的多媒体库,最新版本是2.4.3,它的License是LGPL或GPL.FFmpeg可以用来记录.转换数字音频.视频,并能将其转换为流的开源计算机程序.它包括了音/视频编码库li ...
OpenSSL简介及在Windows、Linux、Mac系统上的编译步骤
OpenSSL介绍:OpenSSL是一个强大的安全套接字层密码库,囊括主要的密码算法.常用的密钥和证书封装管理功能及SSL协议,并提供丰富的应用程序供测试或其它目的使用. SSL是SecureSock ...
简单实例讲解linux的module模块编译步骤
简单实例讲解linux的module模块编译步骤 (2014-10-24 10:19:17) 标签: module linux 分类:Linux/Unix 本文将直接了当的带你进入linux的模块编译 ...
weka源码编译步骤
weka源码编译步骤 1 安装JDK环境和Java开发环境,我用的是MyEclipse. 2 安装WEKA(安装不带JRE的WEKA即可). 3 重新编译: 3.1 创建工作目录.新建一个WEKA-R ...
一文带你梳理Clang编译步骤及命令
摘要: 本文简单介绍了Clang编译过程中涉及到的步骤和每个步骤的产物,并简单分析了部分影响预处理和编译成功的部分因素. 本文分享自华为云社区<Clang编译步骤及命令梳理>,作者:mai ...
Android APK反编译步骤
反编译步骤 1.通过Android Killer 打开apk,自动开始分析 2.分析结束后,在分析好的工程上右键->打开方式->打开文件位置在文件夹ProjectSrc中有文件class ...
Android 驱动（8）---简单实例讲解linux的module模块编译步骤
简单实例讲解linux的module模块编译步骤原博文地址http://blog.sina.com.cn/s/blog_4ba5b45e0102v25h.html ----------------- ...
linux内核编译步骤
linux内核编译步骤对于linux新手来说,编译内核相对有一些难度,甚至不知道如何入手,我通过在网上收集这方面的资料,最终编译成功.现在我归纳了一下,写出这一篇还算比较详细的步骤,希望 ...

Hadoop-LZO 编译步骤

Hadoop-LZO 编译步骤相关推荐

最新文章

热门文章