64位centos 下编译 hadoop 2.6.0 源码
64位os下为啥要编译hadoop就不解释了,百度一下就能知道原因,下面是步骤:
前提:编译源码所在的机器,必须能上网,否则建议不要尝试了
一. 下载必要的组件
a) 下载hadoop源码 (当前最新的稳定版是2.6.0)
地址 http://mirrors.hust.edu.cn/apache/hadoop/common/stable/hadoop-2.6.0-src.tar.gz
b) 下载apache-ant (centos自带的ant版本太低,编译过程中会报错)
地址: http://mirrors.cnnic.cn/apache//ant/binaries/apache-ant-1.9.4-bin.zip (最新版本即可)
c) 下载protobuf-2.5.0.tar.gz (这是google出品的一个数据传输格式)
地址: https://developers.google.com/protocol-buffers/docs/downloads (官网地址要翻!墙!,百度上也能找到国内下载地址)
注意:hadoop2.6.0必须配protobuf 2.5.0版本,版本不匹配,编译将失败
d) 下载findbugs
地址: http://prdownloads.sourceforge.net/findbugs/findbugs-3.0.1.tar.gz?download (最新版本即可)
e) 下载maven
地址: http://maven.apache.org/download.cgi (下载最新版即可,本文中用的是3.2.5)
f) 下载jdk
地址:这个比较容易找,大家自己去oracle官网找着,jdk1.6 及以上(本文用的是1.7)
二. 设置环境变量
(下面三种方式任选其一即可)
sudo vi /etc/profile
vi ~/.bashrc
vi ~/.bash_profile
上面3个命令随便用哪个,进入vi编辑器后,参考下面的内容设置环境变量:
(注: 下面的$ JAVA _ HOME部分,博客发表后,好象博客园会自动变成其它格式,正确内容参考图片)
export ANT_HOME=/home/cargo/apache-ant-1.9.4
export FINDBUGS_HOME=/home/cargo/findbugs-3.0.1
export JAVA_HOME=/home/cargo/jdk1.7.0_76
export M2_HOME=/home/cargo/apache-maven-3.2.5
export PATH=$JAVA_HOME/bin:$PATH:$HOME/bin:$M2_HOME/bin:$ANT_HOME/bin:$FINDBUGS_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
编译过程中,maven会从互联网下载很多jar包,强烈建议在局域网搭建一个nexus私服, 另外建议修改maven/conf/settings.xml文件,参考内容如下:
![](https://yqfile.alicdn.com/img_1c53668bcee393edac0d7b3b3daff1ae.gif)
![](https://yqfile.alicdn.com/img_405b18b4b6584ae338e0f6ecaf736533.gif)
1 <?xml version="1.0" encoding="UTF-8"?> 2 <settings xmlns=" http://maven.apache.org/SETTINGS/1.0.0" 3 xmlns:xsi=" http://www.w3.org/2001/XMLSchema-instance" 4 xsi:schemaLocation=" http://maven.apache.org/SETTINGS/1.0.0 http://maven.apache.org/xsd/settings-1.0.0.xsd"> 5 6 <localRepository>/home/cargo/m2</localRepository> 7 8 <mirrors> 9 <mirror> 10 <id>nexus</id> 11 <mirrorOf>*</mirrorOf> 12 <url> http://172.21.129.57:8081/nexus/content/groups/public/</url> 13 </mirror> 14 </mirrors> 15 16 <profiles> 17 <profile> 18 <id>nexus</id> 19 <repositories> 20 <repository> 21 <id>nexus</id> 22 <name>Nexus</name> 23 <url> http://172.21.129.57:8081/nexus/content/groups/public/</url> 24 <releases><enabled>true</enabled></releases> 25 <snapshots><enabled>true</enabled></snapshots> 26 </repository> 27 </repositories> 28 <pluginRepositories> 29 <pluginRepository> 30 <id>nexus</id> 31 <name>Nexus</name> 32 <url> http://172.21.129.57:8081/nexus/content/groups/public/</url> 33 <releases><enabled>true</enabled></releases> 34 <snapshots><enabled>true</enabled></snapshots> 35 </pluginRepository> 36 </pluginRepositories> 37 </profile> 38 </profiles> 39 <activeProfiles> 40 <activeProfile>nexus</activeProfile> 41 </activeProfiles> 42 43 </settings>
View Code
<localRepository>/home/cargo/m2</localRepository> 这里设置一个下载jar包的本机仓库目录,通常编译不会很顺利,如果因网络问题下载jar包失败,下次再运行安装时, 需要手动清空本地仓库的缓存,指定一个好记的目录,清理起来比较方便
上面这一堆弄好后,验证一下:
验证ant,输入anv -version,正常应该反馈以下类似信息:
Apache Ant(TM) version 1.9.4 compiled on April 29 2014
验证maven,输入mvn -version,正常应该反馈以下类似信息:
Apache Maven 3.2.5 (12a6b3acb947671f09b81f49094c53f426d8cea1; 2014-12-15T01:29:23+08:00)
Maven home: /home/cargo/apache-maven-3.2.5
Java version: 1.7.0_76, vendor: Oracle Corporation
Java home: /home/cargo/jdk1.7.0_76/jre
Default locale: zh_CN, platform encoding: UTF-8
OS name: "linux", version: "2.6.32-431.23.3.el6.x86_64", arch: "amd64", family: "unix"
三.安装必要的软件
sudo yum -y install gcc*
sudo yum -y install cmake
sudo yum -y install glibc-headers
sudo yum -y install gcc-c++
sudo yum -y install zip-devel
sudo yum -y install openssl-devel
sudo yum -y install svn
sudo yum -y install git
sudo yum -y install ncurses-devel
sudo yum -y install lzo-devel
sudo yum -y install autoconf
sudo yum -y install libtool
sudo yum -y install automake
这一堆东西都装上吧,省得编译过程中提示少这个,少那个
四.配置\安装protobuf
进入protobuf所在目录,然后按下面顺序操作
./configure
make
make check
sudo make install
五.编译hadoop
进入hadoop源代码目录,输入
mvn clean package -DskipTests -Pdist,native -Dtar
上面这行命令大意是先清理target目录,再打包,同时跳过测试,应用dist,native这2种profile,且最终目标是生成tar包
首次编译一般不会成功(视人品而定),下面是可能会遇到的一些问题:
a) maven-enforcer-plugin规则验证失败
编辑源代码根目录下的pom.xml,找到maven-enforcer-plugin所在的部分
<plugin>
<groupId>org.apache.maven.plugins</groupId>
<artifactId>maven-enforcer-plugin</artifactId>
<version>1.3.1</version>
<configuration>
<rules>
<requireMavenVersion>
<version>[3.0.2,)</version>
</requireMavenVersion>
<requireJavaVersion>
<version>1.7</version>
</requireJavaVersion>
</rules>
</configuration>
</plugin>
注意红色部分,原来的值是1.6,即规定了使用jdk1.6,如果本机安装的jdk是1.7,这里相应改一下
b)maven-antrun-plugin各种报错
同样尝试修改pom.xml
<plugin>
<groupId>org.apache.maven.plugins</groupId>
<artifactId>maven-antrun-plugin</artifactId>
<version>1.7</version>
<dependencies>
<dependency>
<groupId>org.codehaus.plexus</groupId>
<artifactId>plexus-utils</artifactId>
<version>2.0.5</version>
</dependency>
<dependency>
<groupId>org.apache.ant</groupId>
<artifactId>ant</artifactId>
<version>1.9.4</version>
</dependency>
</dependencies>
</plugin>
红色这一部分是原来没有的,可以尝试加上再试试,其中ant依赖项的版本号,调整成本机实际的ant版本号
c) org.slf4j系列jar包找不到的问题
hadoop所依赖的org.slf4j这一系列的Jar包版本都特别低,如果maven无法自动从互联网下载成功,可以手动根据出错信息,到网上下载这些jar包,然后放到本地仓库的相关目录
d) apache-tomcat-6.0.41.tar.gz 下载太卡的问题
[get] Getting: http://archive.apache.org/dist/tomcat/tomcat-6/v6.0.41/bin/apache-tomcat-6.0.41.tar.gz
[get] To: /home/cargo/hadoop-2.6.0-src/hadoop-common-project/hadoop-kms/downloads/apache-tomcat-6.0.41.tar.gz
到这一步时,如果下载失败,可以手动下载这个包,然后放到 hadoop-2.6.0-src/hadoop-common-project/hadoop-kms/downloads/ 目录下
e)内存不足
export MAVEN_OPTS="Xms256m -Xmx512m"
把这一行加到最开始设置环境变量的文件最后即可
tips: 如果人品不好,上面这些招数用尽后,仍然各种报错,可以尝试把maven命令调整成
mvn compile -DskipTests -Pdist,native -Dtar
即先不打包,仅编译
在编译的漫长等待中,强烈建议大家读一下源代码目录下的BUILDING.TXT文件,这里面大概描述了各种平台(MAC OS/WINDOWS/LINUX)下的编译主要步骤,祝各位编译顺利!
历经千辛万苦编译成功后,hadoop-2.6.0-src/hadoop-dist/target 这个目录下会生成编译结果
64位centos 下编译 hadoop 2.6.0 源码相关推荐
- 在64位linux下编译32位程序
一般情况下我们最好是在一个平台上编译本平台的二进制程序,比如在32位平台上编译32位程序而在64位平台上编译64位程序. 现在64位的系统(这里主要指x86_64系统,包括AMD64和Intel的EM ...
- 64位系统下编译PHP找不到库文件问题
最近在CentOS 64位系统上编译5.4.5版的PHP时,遇到报以下错: checking for DSA_get_default_method in -lssl... yes checking f ...
- 使用VS在64位平台下编译代码,生成64位dll
最近要把一个之前在32位平台下编译的项目改成64位平台,之前从来没搞过关于64位的东西,所以到处查资料,所幸搞成功了,把过程记录一下,防止以后忘记. 首先声明:64位平台无法直接调用32位dll,32 ...
- php找不到库,64位系统下编译PHP找不到库文件问题 | 学步园
最近在64位系统上编译5.4.5版的PHP时,遇到报以下错: checking for DSA_get_default_method in -lssl... yes checking for X509 ...
- py6s 光谱响应函数_Windows7 64位环境6sv2.1大气传输模型修改源码添加国产高分卫星GF-1 GF-2光谱响应支持...
下面开始添加国产卫星光谱响应的支持: 以下主要参考文章"6S大气传输模型修改源码添加.自定义卫星光谱响应(以HJ-1B CCD为例)"网址:http://blog.csdn.net ...
- Centos 6.5 X64 环境下编译 hadoop 2.6.0 --已验证
详细参照源码路径下的BUILDING.txt文件 Centos 6.5 x64 hadoop 2.6.0 jdk 1.7 protobuf-2.5.0 maven-3.0.5 set environm ...
- 64位centos下QQ无法输入中文只能输入英文
64位centos6.3下QQ无法输入中文 解决方案: 1.以root帐号登录,运行 #yum install gtk2-immodule-xim.i686 #yum instal ...
- VS2010 C++下编译调试MongoDB“.NET研究”源码
考虑到mongodb使用了boost库源码,参考mongodb官方文档后,下载编译boost版本是1.42(时间为2010-2-2)或更新版本: boost版本1.42: http://sourcef ...
- VS2015编译MuPDF 1.13.0源码(详细)
前言 要想对PDF进行二次开发,那么MuPDF一定是首选,MuPDF 上的呈现器专为高质量的抗失真图像量身打造,它以像素级的精度高品质呈现文字和文字间的间距,从而获得最高级别的显示保真度,在设备屏幕上 ...
最新文章
- awk命令使用和取出数据的最大值,最小值和平均值
- 31个好用的 Python 字符串方法,建议收藏!
- 关于Python中的yield(转载)
- python爬虫教程pdf-《Python爬虫开发与项目实战》pdf完整版
- oracle索引和同义词,关于Oracle序列、索引、同义词
- linux安全加固(2)
- ORACLE 11G EXP导出空表方法
- Qt Designer的小部件编辑模式
- java之spring mvc之拦截器
- 计算机网络学习笔记(一)——分层模型、协议、服务、连接模式、标准化组织
- ubuntu 自动加载ko_开屏广告太烦人?用这个只有 2M 的 App,助你自动跳过 5 秒等待...
- 在 Mac 上创建和移除替身
- arcgis for javascript ArcGISDynamicMapServiceLayer 过滤图层点
- 消息中间件学习总结(9)——RocketMQ与kafka差异比较分析
- 中小微企业税务数据的指标分析
- 删除或复制文件提示:文件名无效或太长/目标路径太长/找不到该项目
- 极域课堂管理软件(V2016)遇到的问题——“未找到可用的网络适配器,将以脱机模式启动”
- html渐变做一个彩虹,ps渐变工具:制作七色彩虹特效
- 最新IOS开发学习资料整理(进阶必备)
- word导航窗显示二级目录