Spark开发环境搭建(提供实验平台)
Spark开发环境搭建
1)Scala环境
1. 前置说明
安装与配置Scala
开发环境。
实验平台直达链接
Scala
是一种函数式面向对象语言,它融汇了许多前所未有的特性,而同时又运行于JVM
之上。随着开发者对Scala
的兴趣日增,以及越来越多的工具支持,无疑Scala
语言将成为你手上一件必不可少的工具。
2. 解压配置
在Scala各版本安装包直达链接根据平台选择下载Scala
的安装包
# 创建 app 目录 并解压 scala包
mkdir /app && tar -zxf /opt/scala-2.12.7.tgz -C /app
3. 检验配置
SCALA_HOME=/app/scala-2.12.7
export PATH=$PATH:$SCALA_HOME/bin
2)Spark环境
实验平台直达链接
1. 前置说明
Apache Spark
是专为大规模数据处理而设计的快速通用的计算引擎。Spark
是UC Berkeley AMP lab
(加州大学伯克利分校的AMP
实验室)所开源的类Hadoop MapReduce
的通用并行框架,Spark
拥有Hadoop MapReduce
所具有的优点;但不同于MapReduce
的是——Job
中间输出结果可以保存在内存中,从而不再需要读写HDFS
,因此Spark
能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce
的算法。
2. 解压配置
平台已将spark
安装包下载到/opt
目录下
tar -zxf spark-2.2.2-bin-hadoop2.7.tgz -C /app#配置环境变量(根据需求,做目录调整)
SPARK_HOME=/app/spark-2.2.2-bin-hadoop2.7
export PATH=$PATH:$SPARK_HOMR/bin
查看IP地址
参数解释:
参数 | 解释 |
---|---|
JAVA_HOME | Java的安装路径 |
SCALA_HOME | Scala的安装路径 |
HADOOP_HOME | Hadoop的安装路径 |
HADOOP_CONF_DIR | Hadoop配置文件的路径 |
SPARK_MASTER_IP | Spark主节点的IP或机器名 |
SPARK_LOCAL_IP | Spark本地的IP或主机名 |
export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_111
export SCALA_HOME=/app/scala-2.12.7
export HADOOP_HOME=/usr/local/hadoop/
export HADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop
export SPARK_MASTER_IP=172.20.112.233
export SPARK_LOCAL_IP=172.20.112.233
在这里我们需要配置的是spark-env.sh
文件,但是在Spark
原有目录下查看只发现一个文件spark-env.sh.template
,此处我们采取更高效简便的方法跳过复制文件,采用自创spark-env.sh
即可
3. 校验配置
在spark
的根目录下输入命令./start-all.sh
即可启动,使用jps
命令查看是否启动成功
正常开发环境下可能遇到的问题,由于此处平台验证比较古板,无法举例,口述表达一下
Spark底层是基于Hadoop的,我们配置启动Hadoop时默认已经在
profile
文件中配置了快捷启动命令,这里我们再调用start-all.sh
实际上调用启动的是Hadoop,所以务必切换至Spark
自身所在的sbin目录下再调用start-all.sh
校验
# 在Spark根目录使用命令运行示例程序
./bin/run-example SparkPi > SparkOutput.txt
# 查看计算结果(计算是有误差的所以每次结果会不一样)
cat SparkOutput.txt
申明:以上所有流程基于头歌实验平台提供的环境,如需实操点击直达链接跳转即可开启实验,文章仅作记录
Spark开发环境搭建(提供实验平台)相关推荐
- Java开发环境搭建与实验教程(适合自学)
Java开发环境搭建与实验教程 如何配置JAVA的环境变量 下载Java JDK(JDK包含JRE.SDK是Software Development Kit 即软件开发工具包,可以包括函数库.编译程 ...
- Spark 开发环境搭建(1)IDEA Gradle的安装部署、使用
Spark 开发环境搭建(1)使用IDEA Gradle的方式 1,JAVA环境检查 C:\Windows\System32>java -version java version "1 ...
- Spark开发环境搭建(学习笔记)
夫君子之行,静以修身,俭以养德,非淡泊无以明志,非宁静无以致远. 夫学须静也,才须学也,非学无以广才,非志无以成学.淫慢则不能励精,险躁则不能冶性. 年与时驰,意与日去,遂成枯落,多不接世,悲守穷庐, ...
- spark开发环境搭建及部署
spark开发环境搭建 1.下载开发工具luna eclipse 或者 Intellij IDEA(官网下载的 scala for eclipse如果不能用可以使用 luna) 2.安装jdk1.7配 ...
- Spark开发环境搭建
开发环境 Spark 2.4.4使用Scala2.12: Java安装 bash-3.2$ java -version java version "1.8.0_211" Java( ...
- lua 开发环境搭建(windows 平台)
1 参考https://editor.csdn.net/md/?articleId=104457812 2 调试配置参考https://blog.csdn.net/qq_35331967/articl ...
- 第二章 STC51开发环境搭建
第二章 搭建开发环境 一.简介 本文介绍搭建开发环境 二.实验平台 单片机型号:STC12C5A60S2 编译软件:KEIL 硬件平台:达芬奇51开发版 三.版权声明 博主:文武先生 声明:喝水不忘 ...
- Windows下单机安装Spark开发环境
机器:windows 10 64位. 因Spark支持java.python等语言,所以尝试安装了两种语言环境下的spark开发环境. 1.Java下Spark开发环境搭建 1.1.jdk安装 安装o ...
- 如何使用IntelliJ IDEA搭建spark开发环境(上)
本文部分转自http://www.beanmoon.com/2014/10/11/%E5%A6%82%E4%BD%95%E4%BD%BF%E7%94%A8intellij%E6%90%AD%E5%BB ...
最新文章
- Makefile条件推断 ——————————【Badboy】
- c语言填空题删除字符串k右边,计算机二级C语言上机模拟试题及解题思路
- vue 点击渲染ajax,vue中在页面加载时发送ajax请求获取数据渲染不到页面上
- duilib获取字符串的像素长
- ubuntu修改ls显示目录的颜色
- 【CodeForces - 1038B 】Non-Coprime Partition (构造,数组特征)
- Linux init详解 (0,1,2,3,4,5,6)
- textarea的不可拉伸和不可编辑
- Github博客私人订制(一)
- 翻译:iOS上的MVVM + RxSwift架构对比 MVC,MVVM,MVP和VIPER
- 使用SAP download manager下载SAP软件
- (一)流体力学基本概念
- 未将引用设置到对象的实例
- 【高等数学】曲线的切线与法平面和曲面的切平面与法线
- 同步电机是如何达到同步的?工作原理是什么?
- 解决CMD命令行窗口不显示颜色问题python
- android sd卡名称,科普详解Android系统SD卡各类文件夹名称
- robosense速腾16线激光雷达配置过程
- WordPress未能连接到FTP服务器 xxxxxxx:21
- 随机森林如何评估特征重要性
热门文章
- h5中iOS页面显示缩放问题
- php开发工程师学费,青岛PHPWEB开发工程师班
- k线符号图解大全_如何股票开户,麻烦朋友们介绍一个好点的证券公司?k线组合108式图解...
- jpg 与 png 的区别
- python表白神器_python实现抖音表白神器
- Scala 入门-包对象(package object)
- 全面分析RHCE7(红帽认证工程师)考试题目之 ----WEB 服务器 篇
- php 修改第二次出现的字符,php 替换字符串中第N次出现的字符代码
- 爬取央视网节目单栏目信息
- 5v继电器模块实物接线_消防联动模块的接线,实物接线图展示