(1)编译前的准备工作,安装jdk,解压maven,解压spark,解压scala并配置相关的环境变量
export JAVA_HOME=/opt/module/jdk1.6.0_45
export PATH=$PATH:$JAVA_HOME/bin

export MAVEN_HOME=/opt/module/apache-maven-3.0.5
export PATH=$PATH:$MAVEN_HOME/bin

export SCALA_HOME=/opt/module/scala-2.10.4
export PATH=$PATH:$SCALA_HOME/bin
(2)如果使用mvn方式,还需增加 export MAVEN_OPTS="-Xmx2g -XX:MaxPermSize=512M -XX:ReservedCodeCacheSize=512m",不然会出现错误错误
一切工作准备就绪,则开始编译 mvn -Pyarn -Phadoop-2.4 -Dhadoop.version=2.4.0 -DskipTests clean package
这些数值设置的是不通的参数的值,可以查看官方文档,根据提示设置其他的值。
(3)如果使用的是make-distribution.sh,则需要做以下修改
配置域名服务器
#vim /resolv.conf
内容:
nameserver 8.8.8.8
nameserver 8.8.4.4
最后:
./make-distribution.sh --tgz -Pyarn -Phadoop-2.4 -Dhadoop.version=2.6.0-cdh5.4.0 -Phive-0.13.1 -Phive-thriftserver
./make-distribution.sh --tgz -Pyarn -Phadoop-2.4 -Dhadoop.version=2.6.0-cdh5.4.0 -Phive-0.13.1 -Phive-thriftserver
为了减少时间,我们对make-distribution.sh文件做如下修改
VERSION=1.3.0 #设置spark版本
SPARK_HADOOP_VERSION=2.6.0-cdh5.4.0
SPARK_HIVE=1
等待1个半小时 。。。。。。。。。。。。。。。。
出现了下边的内容,则成功了
Saving to outputFile=/opt/module/spark-1.3.0/external/kafka-assembly/scalastyle-output.xml
Processed 0 file(s)
Found 0 errors
Found 0 warnings
Found 0 infos
Finished in 0 ms
[INFO] ------------------------------------------------------------------------
[INFO] Reactor Summary:
[INFO]
[INFO] Spark Project Parent POM .......................... SUCCESS [20.658s]
[INFO] Spark Project Networking .......................... SUCCESS [59.540s]
[INFO] Spark Project Shuffle Streaming Service ........... SUCCESS [19.474s]
[INFO] Spark Project Core ................................ SUCCESS [17:10.312s]
[INFO] Spark Project Bagel ............................... SUCCESS [3:25.347s]
[INFO] Spark Project GraphX .............................. SUCCESS [6:48.707s]
[INFO] Spark Project Streaming ........................... SUCCESS [4:51.339s]
[INFO] Spark Project Catalyst ............................ SUCCESS [6:09.566s]
[INFO] Spark Project SQL ................................. SUCCESS [5:40.546s]
[INFO] Spark Project ML Library .......................... SUCCESS [6:50.022s]
[INFO] Spark Project Tools ............................... SUCCESS [1:02.293s]
[INFO] Spark Project Hive ................................ SUCCESS [7:17.840s]
[INFO] Spark Project REPL ................................ SUCCESS [2:37.665s]
[INFO] Spark Project YARN ................................ SUCCESS [1:23.802s]
[INFO] Spark Project Assembly ............................ SUCCESS [3:10.951s]
[INFO] Spark Project External Twitter .................... SUCCESS [2:56.559s]
[INFO] Spark Project External Flume Sink ................. SUCCESS [1:07.428s]
[INFO] Spark Project External Flume ...................... SUCCESS [34.766s]
[INFO] Spark Project External MQTT ....................... SUCCESS [1:47.120s]
[INFO] Spark Project External ZeroMQ ..................... SUCCESS [38.234s]
[INFO] Spark Project External Kafka ...................... SUCCESS [1:05.513s]
[INFO] Spark Project Examples ............................ SUCCESS [7:23.760s]
[INFO] Spark Project YARN Shuffle Service ................ SUCCESS [40.643s]
[INFO] Spark Project External Kafka Assembly ............. SUCCESS [48.520s]
[INFO] ------------------------------------------------------------------------
[INFO] BUILD SUCCESS
[INFO] ------------------------------------------------------------------------
[INFO] Total time: 1:25:14.796s
[INFO] Finished at: Mon Nov 16 23:55:37 PST 2015
[INFO] Final Memory: 65M/200M
[INFO] ------------------------------------------------------------------------

spark(一) build相关推荐

  1. Spark灰度发布在十万级节点上的实践

    Spark CI 持续集成实践 CI 介绍 持续集成是指,及时地将最新开发的且经过测试的代码集成到主干分支中. 持续集成的优点 快速发现错误 每次更新都及时集成到主干分支中,并进行测试,可以快速发现错 ...

  2. Apache Spark源码阅读环境搭建

    文章目录 1 下载源码 2 导入项目 3 新建文件 4 Debug JavaWordCount 4.1 搜索JavaWordCount 4.2 修改参数 4.3 Debug 遇到的报错 1 未设置Ma ...

  3. spark插件入门完整版本

    1 在spark项目中添加source folder文件夹,取名为src/plugins/testplugin/src/java 2 在此文件夹下新建包名,取名为com.jivesoftware.sp ...

  4. 朱雀雀openfire+spark相关的中文资料

    难得找几篇openfire+spark相关的中文资料 从朱雀雀的博客里找到几篇文章,很有启发,也在这里转载一下. 开发你自己的XMPP IM - [J2EE] 最近没在Blog 上露脸,为撒类?应师兄 ...

  5. SparkSql官方文档中文翻译(java版本)

    1 概述(Overview) 2 DataFrames 2.1 入口:SQLContext(Starting Point: SQLContext) 2.2 创建DataFrames(Creating ...

  6. Scala构建工具SBT

    SBT(Simple Build Tool)是Scala的项目构建工具,拥有依赖管理,构建过程管理和打包等功能. SBT官网上给出各平台的安装方法: MAC: 使用homebrew安装 brew in ...

  7. Robocup3D项目搭建

    注:文中所有步骤仅以 ubuntu18.04 作为测试平台 1.下载项目文件 UT的开源项目GitHub地址为:UT开源仿真3D代码 将项目代码克隆到本地 2.安装代码运行环境 更新仓库: sudo ...

  8. 基于大数据的旅游数据分析系统的设计与实现

    基于大数据的旅游数据分析系统的设计与实现 摘    要 网络技术的不断发展,使网络成为人们的日常生活中不可缺少的一部分,而旅游数据分析系统是网络的一种新型体现,它以其特有的便捷和快速的特点得到了广泛的 ...

  9. 在Windows上build Spark

    2019独角兽企业重金招聘Python工程师标准>>> 在本机(Windows 8)上安装spark玩一玩,Spark的Quick Start上没有指明具体步骤,自己Build好了之 ...

最新文章

  1. ROS Melodic安装、配置和使用turtlebot2(集成众多源代码直接下载)
  2. xamarin ios html5 video.js 无法播放
  3. 矩阵分解法做推荐系统
  4. 9b9t服务器显示连接超时,Fabric-sdk-go实例化链码连接7053端口等待超时
  5. PHP简单实现LRU算法原理
  6. 2016/8/18 Linux常用命令 :目录、文件处理命令
  7. 实例对象的属性和原型对象中的属性重名问题 神奇的原型链 继承 继承案例
  8. 充分利用 UE4 中的噪声
  9. 尽快更新!Chrome 修复两个已遭在野利用的 0day
  10. OpenCV-绘制标记符cv::drawMarker
  11. js 操作vuex数据_请教个有关 Vue.js 使用 Nuxt.js 服务端渲染,使用 Vuex 取数据的时候报错...
  12. keil的configuration wizard配置和使用
  13. Java: Hook技术
  14. 王道数据结构代码---第五章:二叉树(重要)
  15. 微服务部署之蓝绿发布、滚动发布、灰度发布区别与特点!
  16. BOOST的JSON解析库Boost.JSON简介
  17. 如何制作笔记本操作系统恢复盘
  18. 应用层与HTTP协议
  19. 基于51单片机智能手机锂电池充电器设计
  20. php单链表检测有没有环,PHP 和 Go 实现环路链表检测

热门文章

  1. 调用torchtext报错OSError: libtorch_cpu.so: cannot open shared object file: No such file or directory
  2. Codeforces Round #528 (Div. 2, based on Technocup 2019 Elimination Round 4) C. Connect Three 【模拟】...
  3. QT5利用chromium内核与HTML页面交互
  4. C专家编程--读书笔记九 再论数组
  5. 查询ms sql 2005版本号
  6. html dom对象简写,js参考手册-html dom对象
  7. python进程和线程_Python进程与线程知识
  8. 网站服务器停止响应,如何解决apache停止响应的问题
  9. php 线条的绘制,在非常高的图像上使用PHP绘制线条,脚本停止绘制.怎么了,怎么解决?...
  10. unity android本地推送,Unity安卓本地推送