hadoop2.4.1源码编译步骤 hive0.13.1编译
-----------hadoop编译
1、编译环境
CentOS6.5 64位
jdk1.7.0_71
maven-3.2.3
hadoop2.4.1
2、安装JDK,maven
略
3、安装protoc
在hadoop2.X版本的编译时,需要protoc的支持,hadoop2.4.1需要protoc2.5.0,protoc是google开发的,需要自已下载并安装。安装protoc需要先安装几个依赖包,root用户执行以下命令即可:
yum install gcc
yum install gcc-c++
yum install make
安装protoc,如下:
tar -xvf protobuf-2.5.0.tar.bz2
cd protobuf-2.5.0
./configure --prefix=/opt/protoc/
make && make install
4、安装findbugs
wget http://prdownloads.sourceforge.net/findbugs/findbugs-3.0.0.tar.gz?download
5、配置环境变量
#-------------------------------- #protobuf relate #--------------------------------- export FINDBUGS_HOME=/home/ocdc/source/findbugs-3.0.0 export PATH=/home/ocdc/source/protobuf-2.5.0/src:$FINDBUGS_HOME/bin:$PATH #-------------------------------- #Java related #--------------------------------- export JAVA_HOME=/home/ocdc/bin/jdk1.7.0_71 export PATH=$JAVA_HOME/bin:$PATH export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar#-------------------------------- # Maven related #------------------------------- export M2_HOME=/home/ocdc/bin/apache-maven-3.2.3 export PATH=$M2_HOME/bin:$PATH#-------------------------------- # Scala related #------------------------------- export SCALA_HOME=/home/ocdc/bin/scala-2.10.4 export PATH=$SCALA_HOME/bin:$PATH
6、安装cmake,openssl-devel,ncurses-devel
yum install cmake
yum install openssl-devel
yum install ncurses-devel
7、maven编译
mvn clean package -Pdist,native,docs -DskipTests -Dtar
8、编译结果
-----------hive编译
hive的编译就简单到没话可说了,唯一需要注意的就是,在编译hive的时候,需要选择hadoop的版本如下所示:
选择hadoop1的版本执行:
mvn clean package -Phadoop-1 -Pdist -DskipTests -Dtar
选择hadoop2的版本执行:
mvn clean package -Phadoop-2 -Pdist -DskipTests -Dtar
PS:由于中央仓库下载依赖不稳定,如果无法下载依赖,重新编译命令即可,因此最好配置maven私服(推荐nexux很好用,网上资料也很多)。为避免out of memory的错误,建议在编译时临时增大JVM内存,如下
export MAVEN_OPTS="-Xmx2g -XX:MaxPermSize=512M -XX:ReservedCodeCacheSize=512m"
spark1.1.1编译:
mvn clean package -Pyarn -Phadoop-2.4 -Pspark-ganglia-lgpl -Pkinesis-asl -Phive-0.13.1 -DskipTests -Dtar ./make-distribution.sh --name 2.4.1 --with-tachyon --tgz -Pspark-ganglia-lgpl -Pyarn -Pkinesis-asl -Phive-0.13.1 -Phive-thriftserver -Phadoop2.4 -Djava.version=1.6 -Dhadoop.version=2.4.1 -DskipTests
转载于:https://blog.51cto.com/chengyanbin/1588184
hadoop2.4.1源码编译步骤 hive0.13.1编译相关推荐
- 在Windows和Linux上编译gRPC源码操作步骤(C++)
gRPC最新发布版本为v1.23.0,下面以此版本为例说明在Windows和Linux下编译过程. Windows7/10 vs2103编译gRPC源码操作步骤: 1. 需要本机已安装Git.CMak ...
- 编译hadoop2.2.0源码时报错
编译hadoop2.2.0源码时, mvn install -DskipTests 报错: [ERROR] COMPILATION ERROR : [INFO] ------------------- ...
- 本地编译Hadoop2.8.0源码总结和问题解决(转自:http://blog.csdn.net/young_kim1/article/details/50324345)
编译准备 1.下载所需的软件 先去官网下载hadoop2.8.0源码并解压,打开解压目录下的BUILDING.txt,编译过程和需要的软件其实就是根据这个文档里的描述来的. (可以通过命令下载:wge ...
- Hadoop入门(Hadoop2.7.2源码编译与伪分布安装)
Hadoop概述- Hadoop简介 •什么是Hadoop 一个开源.高可靠.可扩展 的分布式计算框架• 解决的问题 海量数据的存储(HDFS) 海量数据的分析(MapReduce) 分布式资源调度( ...
- 编译和安装gdb源码详细步骤介绍
1.gdb源码下载 (1)源码下载网址:https://ftp.gnu.org/gnu/gdb/: (2)本文下面的编译是按照8.2版本的源码进行的,其余版本的源码可能会报错,需要自行解决: 2.编译 ...
- linux系统编译内核源码的步骤演示
linux系统编译内核源码的步骤演示 在进行linux系统上面的程序开发的时候有一些驱动类的或者是要引用内核接口的时候难免不会遇到编译内核源码的情况,在这里我就进行一下内核源码的相关编译流程.整个内核 ...
- Linux源码安装步骤
Linux上几乎所有的软件都经过了GPL授权,因此几乎所有的软件都会提供源码. 而一个软件要在Linux上执行,必须是二进制文件,因此当我们拿到软件源码后,需要将它编译成二进制文件才能在Linux上 ...
- Openfire4源码部署到eclipse中并编译
Openfire4源码部署到eclipse中并编译 概述 Openfire是众所周知的基于xmpp协议的IM开源服务,所有操作,配置,监控,调试等以B/S方式进行展示,非常的方便管理员进行管理.它的强 ...
- 博通Broadcom SDK源码学习与开发1——SDK源码探究与Cable Modem 系统编译
声明:原创作品,严禁用于商业目的. 本系列文章将全面剖析以Bcm33xxx芯片开发Cablemodem产品的SDK源码为例,从编译系统到各个功能模块进行分析与探讨. 文章目录 0.写在前篇 1. 博通 ...
最新文章
- beautifulsoup以及正则表达式re之间的一些知识!
- 搭建好看的静态博客(使用Hexo进行搭建)
- jdby mysql_06_dljd_mysql数据库常用操作
- Python的特殊成员
- linux打印机怎么设置631端口,设置 Linux 下打印机的几种方式
- 网速提高学习周——软件篇
- CentOS8下安装wget、wget2
- GPIO输入输出模式原理(八种工作方式附电路图详解)
- tibco rv java实例_基于python使用tibco ems代码实例
- 测试计划一般包括哪些方面?
- 面试准备:计算机网络常见面试题
- 外国人入境日本 后天起须留指印头像
- 2022-2023上学期 奖状的清单
- mysql中TINYINT的取值范围
- 爬虫摸索中~~(PS:小小爬虫,何惧哉?且到明日,再看今朝。)
- 开源App动画Lottie
- xss平台模块代码分析--默认模块
- 【论文阅读】mmSampler: Efficient Frame Sampler for Multimodal Video Retrieval【MLSys 2022】
- Docker(redis集群)
- python 获取最新房价信息-以北京房价为例