Spark入门教程(二)Spark2.2源码编译及安装配置
Spark2.2源码下载
点此进入官网下载地址: 下载Spark
//下载好后用传输工具传输到我们的linux上并解压缩
tar -zxvf spark-2.2.0.tgz
源码编译
准备工作
根据Spark官方文档可知,需要java8+,maven 3.3.9+版本
确认jave8.0已成功安装
确认Maven3.3.9已成功安装
如果不知道如何安装,参考如下步骤:
(1)点此下载maven
(2)解压缩:
tar -zxvf apache-maven-3.3.9-bin.tar.gz
(3)配置环境变量:
vim /etc/profile
export MAVEN_HOME=/usr/local/apache-maven-3.3.9
//根据机器配置为maven分配尽可能多的内存,可以使得编译更加快速
export MAVEN_OPTS="-Xmx2g -XX:ReservedCodeCacheSize=1024m"
export PATH=$JAVA_HOME/bin:$MAVEN_HOME/bin:$PATH
//最后不要忘记source命令使得配置立即生效
source /etc/profile
确认机器能够链接外网
vim /etc/resolv.conf
namserver 8.8.8.8 nameserver 8.8.4.4
//检验是否成功链接外网
ping www.baidu.com
开始编译
cd /usr/local/spark-2.2.0
./dev/make-distribution.sh --name custom-spark --tgz -Phadoop-2.6 -Phive -Phive-thriftserver -Pyarn
- --name之后的custom-spark是编译好后生成的那个tgz文件的文件名,可以自定义
- Phadoop要根据自己已经安装好了的hadoop版本写
- 如果要运行R语言请加上-Psparkr,否则请省略以提高编译速度
- 如果要使用mesos请加上-Pmesos,否则请省略以提高编译速度
编译需要40分钟左右:成功后在spark-2.2.0目录下出现spark-2.2.0-bin-custom-spark.tgz包
将它移动到其他目录下:mv spark-2.2.0-bin-custom-spark.tgz /usr/local/
Scala2.11.8下载安装
- 点此下载:scala-2.11.8.tgz
tar -zxvf scala-2.11.8.tgz
- 配置SCALA_HOME环境变量
vim /etc/profile
export SCALA_HOME=/usr/local/scala-2.11.8
export PATH=$SCALA_HOME/bin:$PATH
source /etc/profile
Spark配置
- 进入conf目录 将spark-env.sh.template和slaves.template改名
mv spark-env.sh.template spark-env.sh
mv slaves.template slaves
- 配置spark-env.sh:加上这几个环境变量即可
export JAVA_HOME=/usr/local/jdk1.8
export HADOOP_CONF_DIR=/usr/local/hadoop-2.6.0-cdh5.11.1/etc/hadoop
export SCALA_HOME=/usr/local/scala-2.11.8
- 集群配置:配置slaves,把你的集群中每个机器的主机名写上去即可
master
slave1
slave2
- 配置好之后分发到集群中其他机器上
scp -r spark-2.2.0-bin-hadoop2.6.0-cdh5.11.1 slave1:/usr/local/
scp -r spark-2.2.0-bin-hadoop2.6.0-cdh5.11.1 slave2:/usr/local/
验证Spark
cd /usr/local/spark-2.2.0-bin-hadoop2.6.0-cdh5.11.1/
bin/spark-shell
出现如下界面即可:
作者:Seven_Ki
链接:https://www.jianshu.com/p/97afd1940fc5
來源:简书
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。
转载于:https://www.cnblogs.com/chendongjing/p/8461077.html
Spark入门教程(二)Spark2.2源码编译及安装配置相关推荐
- PostgreSql | 数据库 | pg数据库的全安装教程(yum,二进制,源码编译)
PostgreSql的全安装教程(yum,二进制,源码编译) PostgreSql一般简称为pg, ...
- ubuntu 环境下调试mysql源码_【转】Ubuntu 16.04下 Mysql 5.7.17源码编译与安装
Ubuntu 16.04下 Mysql5.7.17源码编译与安装 系统环境 一. 系统安装条件 1.cmake MySQL使用cmake跨平台工具预编译源码,用于设置mysql的编译参数. sudo ...
- ROS2 Dashing源码编译和安装
ROS2 Dashing源码编译和安装 安装前的准备 1 2 3 4 5 官方教程: https://index.ros.org/doc/ros2/Installation/Dashing/Linux ...
- Atlas 2.2.0源码编译及安装步骤
Atlas 2.2.0源码编译及安装步骤 一.源码编译 1. 下载源码 2. 前置环境安装 3. 修改版本号 4. 修改源码中 atlas与kafka版本兼容问题 5. 开始编译 6. 问题锦集 二. ...
- ROS Dashing源码编译和安装
ROS Dashing源码编译和安装 前置准备 安装前的准备 可选项: 搭建编译环境 搭建步骤 1. 设置语言环境 2. 添加ROS 2 apt仓库 3. 安装开发工具和ROS工具 4. 获取ROS ...
- 源码编译构建安装内核kernel
源码编译构建安装内核kernel 荣涛 2021年10月27日 文档修改日志 日期 修改内容 修改人 备注 2021年10月27日 创建 荣涛 2021年10月28日 添加可能的问题 荣涛 1. 引言 ...
- 基于SSM + MySQL的服饰服装购物平台系统的设计与实现源码+论文+包安装配置+讲解视频
下载:https://download.csdn.net/download/nike8x/83598568 项目介绍: 基于SSM + MySQL的服饰服装购物平台系统的设计与实现源码+论文+包安装配 ...
- linux 源码编译 ./configure 的配置和用法
阅读目录 1. linux从源码编译到安装软件的3个步骤 2. ./configure 的配置和用法 基本配置 配置安装目录 微调安装目录 配置程序名称 配置系统类型 配置可选特性 配置包选项 配置编 ...
- make无法执行——源码编译、安装
在进行软件源码编译.安装时 ,出现make无法执行的情况下,是缺少基础开发包 执行命令即可: apt-get install build-essential
最新文章
- ? 阿里云前端工程化工具 Dawn 正式开源!
- 用springmvc 开发为 app 提供后台服务遇到跨域请求的问题
- ESP8266 wifi模块连接上了热点之后 与服务器建立了tcp连接并进入了透传模式,如果关掉热点wifi模块的tcp连接没有切断,为什么
- 深化对KMP算法的理解
- Nodejs 中的Get、Post
- 《信息学奥赛一本通》1283:登山
- Exchange日志清理
- LeetCode Length of Longest Fibonacci Subsequence
- 以太坊eip150和eip158
- mac下更新自带的PHP版本到5.6
- 设计模式(十四):适配器模式
- Blender Reference Manual 欢迎使用Blender手册!
- 五大常用算法学习笔记
- 解决Tomcat运行内存不足问题
- 基于Harry Potter的数据可视化
- Infor SunSystems咨询服务市场报告-市场规模、市场份额、市场定位、产品类型以及发展规划
- 网页无法访问怎么解决(已解决)
- SAM(segment anything model)分割一切 Demo测试及API调用
- Android获取网络图片的三种方法
- Exp6 信息搜集与漏洞扫描 20164303