Hadoop编译打包记录

Hadoop编译打包，基于2.7.2版本的源码。

# 打包过程中需要使用到的工具
java -version
mvn -version
ant -version
type protoc
type cmake

# Hadoop 2.7.2源码下载地址
http://apache.fayea.com/hadoop/common/hadoop-2.7.2/hadoop-2.7.2-src.tar.gz

# 1.开始打包，解决各种报错

打包命令：
mvn package -Pdist,native -DskipTests -Dtar
如果遇到问题先clean一遍：
mvn clean install -DskipTests

# 2.安装各种缺失等工具
命令查看protobuf是否缺失
type protobuf

安装protobuf各个版本的编译代码，从protobuf-2.4.1到protobuf-3.0.0-Release之间的20个版本，
在Mac上protobuf-2.6.1、protobuf-3.0.0-alpha-1、protobuf-3.0.0-beta-2、protobuf-3.0.0测试全部成功！
解决了从GitHub上下载安装执行./autogen.sh失败的问题！

su切换到root用户下执行，或者使用sudo
./configure
make
make check
make install
检验安装
protoc --version

安装cmake
sudo yum install cmake
type cmake

# 3.修改hadoop下载的配置
由于无法从外网下载tomcat安装包，所以需要在内网坏境提供安装包的下载，
详细步骤请参考：
[使用tomcat搭建HTTP文件下载服务器](https://www.jianshu.com/p/d7239900dc84)
然后将内网的地址替换下面pom中的地址：
修改/home/ling/hadoop/hadoop-2.7.2-src/hadoop-common-project/hadoop-kms目录下面的pom.xml文件
```
---http://archive.apache.org/dist/tomcat/tomcat-6/v${tomcat.version}/bin/apache-tomcat-${tomcat.version}.tar.gz
+++http://10.43.159.41:8083/tomcat/apache-tomcat-${tomcat.version}.tar.gz
```

修改/home/ling/hadoop/hadoop-2.7.2-src/hadoop-hdfs-project/hadoop-hdfs-httpfs 目录下面的pom.xml
```
---<tomcat.download.url>http://archive.apache.org/dist/tomcat/tomcat-6/v${tomcat.version}/bin/apache-tomcat-${tomcat.version}.tar.gz</tomcat.download.url>
+++<tomcat.download.url>http://10.43.159.41:8083/tomcat/apache-tomcat-${tomcat.version}.tar.gz</tomcat.download.url>
```
#4. 打包成功
在目录~/hadoop-2.4.0-src/hadoop-dist/target下有打出的安装包文件：
hadoop-2.7.2.tar.gz

Hadoop编译打包记录相关推荐

使用Android Killer反编译apk成功，回编译打包失败问题记录
问题:直接使用Android Killer对apk进行反编译,反编译成功,未做任何修改,直接点击"编译",编译报错,提示相关代码未找到,无法进行下一步apk签名操作. 排查: 检查 ...
Hadoop运维记录系列(二十二)
今天下午写了一会代码,然后帮同事解决了一个hbase相关的故障分析,定位了问题根源,觉得比较有代表性,记录一下. 先说一下问题的发生与背景. 这个故障其实是分为两个故障的,第一个比较简单,第二个相对复 ...
源码编译打包_Atlas 2.1.0 实践（1）—— 编译Atlas
为什么要做数据治理? 业务繁多,数据繁多,业务数据不断迭代.人员流动,文档不全,逻辑不清楚,对于数据很难直观理解,后期很难维护. 在大数据研发中,原始数据就有着非常多的数据库,数据表. 而经过数据的聚 ...
Android 编译打包的那些疑问
我们平时都是用 AS 进行打包,这就造成了很多盲点,我们就来看看究竟是咋回事,提前声明这篇文章讲的不全,只讲一些疑惑盲点,需要全面学习的,看老罗的吧,详细的令人发指. 我们从结果入手,看看打包完毕的a ...
深入详解Apk编译打包流程
前言身为一个Android开发,一定要了解apk编译打包流程; 那么今天我们就来学习下; apk的编译流程 1.apk文件 apk是Android Package的缩写; 解压apk文件后包含And ...
2021年大数据环境搭建（一）：Hadoop编译
2021大数据领域优质创作博客,带你从入门到精通,该博客每天更新,逐渐完善大数据各个知识体系的文章,帮助大家更高效学习. 有对大数据感兴趣的可以关注微信公众号:三帮大数据目录 Hadoop编译一. ...
使用sbt编译打包，spark-submit命令提交的详细步骤
Spark2.1.0入门:Spark的安装和使用使用sbt打包Scala程序该程序依赖 Spark API,因此我们需要通过 sbt 进行编译打包. 请在./sparkapp 中新建文件 simp ...
Hadoop学习全程记录——在Eclipse中运行第一个MapReduce程序
网友分享,拿来共享一下这是Hadoop学习全程记录第2篇,在这篇里我将介绍一下如何在Eclipse下写第一个MapReduce程序. 新说明一下我的开发环境: 操作系统:在windows下使用wub ...
Caffe 编译错误记录
Caffe 编译错误记录装了opencv 3之后,以前可以编译成功的的caffe总是出现错误,现记录下来,作为备份: 1.build_release/lib/libcaffe.so:对'cv::im ...

Hadoop编译打包记录

Hadoop编译打包记录相关推荐

最新文章

热门文章