maven编译spark源码
CentOS6.7-64bit编译hadoop2.6.4
1.下载maven(apache-maven-3.3.3-bin.tar.gz)
http://archive.apache.org/dist/maven/maven-3/3.3.3/binaries/apache-maven-3.3.3-bin.tar.gz
2.安装maven
tar -zxvf apache-maven-3.3.3-bin.tar.gz -C /usr/local
3.添加环境变量
vim /etc/profile
export JAVA_HOME=/usr/local/jdk1.7.0_45
export MAVEN_HOME=/usr/local/apache-maven-3.3.3
export PATH=PATH:PATH:JAVA_HOME/bin:$MAVEN_HOME/bin
4.加载环境变量
source /etc/proflie
mvn -version
5.下载protobuf(https://code.google.com/p/protobuf/downloads/list 或 https://protobuf.googlecode.com/files/protobuf-2.5.0.tar.gz)
6.安装protobuf编译依赖,为了编译安装protoc,需要使用YUM下载几个依赖的工具
yum install -y gcc gcc-c++ make
7.解压安装protobuf
tar -zxvf protobuf-2.5.0.tar.gz -C /usr/local/src
cd /usr/local/src/protobuf-2.5.0
./configure –prefix=/usr/local/protobuf
make && make install
8将protobuf添加到环境变量
vim /etc/profile
export PATH=PATH:PATH:JAVA_HOME/bin:HADOOPHOME/bin:HADOOP_HOME/bin:HADOOP_HOME/sbin:$MAVEN_HOME/bin:/usr/local/protobuf/bin
source /etc/profile
protoc –version
9.安装其他编译依赖
yum install -y cmake openssl-devel ncurses-devel zlib-devel
yum install -y snappy snappy-devel bzip2 bzip2-devel lzo lzo-devel lzop openssl openssl-devel
10.编译hadoop(进入文件夹里面,里面有一个文件BUILDINT.txt,打开即可看见里面关于编译hadoop的一些环境要求)
tar -zxvf hadoop-2.6.4-src.tar.gz -C /usr/local/src/
cd /usr/local/src/hadoop-2.6.4-src
mvn package -Pdist,native -DskipTests -Dtar
12.查看编译好的安装包
cd /usr/local/src/hadoop-2.6.4-src/hadoop-dist/target
出现问题
INFO util.NativeCodeLoader - Unable to load native-hadoop library for your platform… using builtin-java classes where applicable
在/etc/profile中添加
export HADOOP_OPTS=”-Djava.library.path=$HADOOP_HOME/lib/native”
查看可用的本地库
hadoop checknative -a
cat /proc/cpuinfo | grep “physical id” | sort | uniq | wc –l
cat /proc/cpuinfo | grep “core id” | sort -u | wc -l
cat /proc/cpuinfo | grep MHz | uniq
CentOS6.7-64bit编译spark-1.6.1
tar -zxvf spark-1.6.1.tgz -C /usr/local/src/
cd /usr/local/src/spark-1.6.1/
设置内存2G
export MAVEN_OPTS=”-Xmx2g -XX:MaxPermSize=512M -XX:ReservedCodeCacheSize=512m”
编译前安装一些压缩解压缩工具
yum install -y snappy snappy-devel bzip2 bzip2-devel lzo lzo-devel lzop openssl openssl-devel
仅仅是为了编译源码, 编译后可以导入idea中
mvn clean package -Phadoop-2.6 -Dhadoop.version=2.6.4 -Phive -Phive-thriftserver -Pyarn -DskipTests
编译后并打包, 打包后可以丢到生产环境了
./make-distribution.sh –tgz -Phadoop-2.6 -Dhadoop.version=2.6.4 -Phive -Phive-thriftserver -Pyarn -DskipTests
maven编译spark源码相关推荐
- 使用Maven编译Tomcat源码
使用Maven编译Tomcat源码 准备工作 编译工具:Intellij Idea 15.0.2 Tomcat版本:7.0.69 下载链接 JDK版本:1.7.0_80 Maven版本:3.05 编译 ...
- Maven编译Freemarker源码及二开
Freemarker源码 Github源码是gradle编译的,部分源码是在编译后自动生成class文件的,如:src/main/javacc/FTL.jj文件,此文件就是在编译时,生成FMParse ...
- 在Windows上编译Spark源码
原文转自http://my.oschina.net/u/1452001/blog/344067?fromerr=1iS9kYnS 在本机(Windows 8)上安装spark玩一玩,Spark的Qui ...
- Spark源码的编译过程详细解读(各版本)(博主推荐)
本文转自大数据躺过的坑博客园博客,原文链接:xxxxx,如需转载请自行联系原作者说在前面的话 重新试多几次.编译过程中会出现下载某个包的时间太久,这是由于连接网站的过程中会出现假死,按ctrl+c,重 ...
- Apache Spark源码走读(九)如何进行代码跟读使用Intellij idea调试Spark源码
<一>如何进行代码跟读 概要 今天不谈Spark中什么复杂的技术实现,只稍为聊聊如何进行代码跟读.众所周知,Spark使用scala进行开发,由于scala有众多的语法糖,很多时候代码跟着 ...
- Spark源码打包编译的过程
前言 上篇文章介绍了下 安装sbt环境 启动scala项目 安装SBT环境运行Scala项目 为什么要弄这个 因为我本来是想对spark源码编译部署 spark是用scala语言编译的 spark源码 ...
- spark的java源码,Spark源码包的编译
Spark源码包的编译和部署生成,其本质只有两种:Maven和SBT (Simple Build Tool), 只不过针对不同的场景而已: Maven编译 SBT编译 IntelliJ IDEA编译( ...
- Spark笔记整理(一):spark单机安装部署、分布式集群与HA安装部署+spark源码编译...
[TOC] spark单机安装部署 1.安装scala 解压:tar -zxvf soft/scala-2.10.5.tgz -C app/ 重命名:mv scala-2.10.5/ scala 配置 ...
- 编译 Apache Spark 源码报错?那是因为你漏掉了关键操作
前言 本文隶属于专栏<1000个问题搞定大数据技术体系>,该专栏为笔者原创,引用请注明来源,不足和错误之处请在评论区帮忙指出,谢谢! 本专栏目录结构和参考文献请见1000个问题搞定大数据技 ...
- Spark源码环境问题
异常1 点击idea–build–build project,或者打开源码显示导入异常.但是maven包都是下载好了的 Error:(45, 66) not found: type SparkFlum ...
最新文章
- 来聊聊可形变卷积及其应用
- 20211217 为什么正定矩阵的主子式都是正的?(注意是主子式,不止是顺序主子式)
- 猫大叫,鼠速逃,人醒了
- html dom 修改,HTML DOM - 修改
- 辽宁计算机专业院校排名2015,liaoning高校排行榜_辽宁高校排名 2015年辽宁省最佳大学排行榜...
- Flex 布局学习笔记
- java 发送 json数据_Java web中怎样取得Android通过post发送的json数据
- linux普通用户配置自己的python环境
- CIFAR10 代码分析详解——cifar10_train.py
- 《淘宝技术这十年》读书笔记
- PDF查看器Spire.PDFViewer 教程:如何在一个网页中查看多个PDF文件
- 魅族手机怎么把计算机放到桌面,魅族手机怎么投屏到电脑 照片怎么传到新手机...
- 利用js完成根据excel填充网页表单
- 不使用转换器,DWG转DXF能否快速完成呢?
- 如何解决wup.exe文件占用cpu资源,彻底删除
- IE浏览器历史版本图标大全
- 爆笑!你知道msdn与csdn的意思吗?
- 企业IT管理员IE11升级指南【17】—— F12 开发者工具
- ‘tensorflow.python.training.experimental.mixed_precision‘ has no attribute ‘_register_wrapper_optimi
- 17. 【移动Web开发之flex布局】
热门文章
- linux下如何添加定时备份任务,Linux下Oracle设置定时任务备份数据库的教程
- Scala基础-01-Scala环境安装及基础语法(变量,函数)
- mysql事务ACID实现原理_一文解析:MySQL事务ACID原理让你面试不再害怕
- android studio快捷键与Eclipse快捷键对比-没有之一
- 华为鸿蒙ota真机测试,华为鸿蒙OS 2.0测试版继续推进:新增机型一览
- javaweb简单源代码_Java Web轻松学39 - JSP核心原理
- 昆明钟英高中2021年高考成绩查询,昆明官渡钟英中学2021年排名
- word文档怎么一分为二_word文档转pdf要怎么实现?word转pdf好方法推荐
- vue实现上移下移_vue.js实现组件间的上移下移
- firmware linux 原理_Firmware加载原理分析 | 学步园