1、下载

Spark安装之前的准备

文件的解压与改名

tar -zxvf spark-2.2.0-bin-hadoop2.7.tgz

rm -rf spark-2.2.0-bin-hadoop2.7.tgz

为了我后面方便配置spark，在这里我把文件夹的名字给改了

mv spark-2.2.0-bin-hadoop2.7 spark-2.2.0-----------------------------------------------------------------------------------------打开spark-shell 后，方能打开下面网址

退出的正确操作是：- :quit

http://10.167.202.135:4040/jobs/

配置环境变量

vi /etc/profile

在最尾巴加入

export SPARK_HOME=/usr/local/spark-2.2.0export PATH=$PATH:$SPARK_HOME/bin

首先我们把缓存的文件spark-env.sh.template改为spark识别的文件spark-env.sh

cp conf/spark-env.sh.template conf /spark-env.sh

vi conf/spark-env.sh

- OPENBLAS_NUM_THREADS=1 Disable multi-threading of OpenBLAS
export JAVA_HOME=/usr/local/jdk1.8

export SCALA_HOME=/usr/local/scala-2.11.7

export HADOOP_HOME=/usr/local/hadoop-3.1.0/

export HADOOP_CONF_DIR=/usr/local/hadoop-3.1.0/etc/hadoop

export SPARK_MASTER_IP=localhost

export SPARK_WORKER_MEMORY=4g

export SPARK_WORKER_CORES=2

export SPARK_WORKER_INSTANCES=1
--------

*****下面是修改默认端口8080为8086*****

spark master web ui 默认端口为8080，当系统有其它程序也在使用该接口时，启动master时也不会报错，spark自己会改用其它端口，自动端口号加1，但为了可以控制到指定的端口，我们可以自行设置，修改方法：

1、cd SPARK_HOME/sbin

2、vi start-master.sh

3、定位到下面部分内容：

if [ "$SPARK_MASTER_WEBUI_PORT" = "" ]; then

SPARK_MASTER_WEBUI_PORT=8080

4、修改上面的端口为其它可用端口就行

转载于:https://www.cnblogs.com/hoge66/p/9443617.html

bigdata learning unit two--Spark environment setting相关推荐

【论文解读】Attributed Network Embedding for Learning in a Dynamic Environment
Attributed Network Embedding for Learning in a Dynamic Environment 在2017年发表于CIKM 提出了DANE,一种将网络拓扑与节点特 ...
go环境配置GO111MODULE出现go: unknown environment setting GO111MODULE=xxx的解决办法
当第一次设置GO111MODULE错误后,无论是查看go env状态还是重新设置GO111MODULE,都会报下面这个错误解决办法: windows 平台: set GO111MODULE=auto ...
深度学习(19): Deep Reinforcement learning（Policy gradientinteract with environment）
Deep Reinforcement learning AL=DL+RL Machine 观察到环境的状态,做出一些行为对环境产生影响,环境根据machine的改变给予一个reward.正向的acti ...
Spark kyro Serialization配置运行案例
一:配置可以在spark-default.conf设置全局参数,也可以代码中初始化时对SparkConf设置 conf.set("spark.serializer", " ...
Windows PC上创建大数据职业技能竞赛实验环境之五--hadoop、hive和spark编程
前述,我们在Windows WSL上,通过Docker容器技术实现了Hadoop集群环境,现在看看利用现有集群环境进行编程开发. 1 设置容器开启时自运行SSH服务参照docker中安装Ubuntu ...
使用Spark读取并分析二进制文件
需求客户希望通过spark来分析二进制文件中0和1的数量以及占比.如果要分析的是目录,则针对目录下的每个文件单独进行分析.分析后的结果保存与被分析文件同名的日志文件中,内容包括0和1字符的数量与占比 ...
利用Spark MLIB实现电影推荐
利用Spark MLIB实现电影推荐源码及数据集:https://github.com/luo948521848/BigData Spark 机器学习库MLLib MLlib是Spark的机器学习( ...
spark word2vec 源码详细解析
spark word2vec 源码详细解析简单介绍spark word2vec skip-gram 层次softmax版本的源码解析 word2vec 的原理只需要看层次哈弗曼树skip-gram ...
Spar学习3：Spark运行概览
中文版Spark运行核心概念解析名词解释 Application 基于Spark的用户程序,包含了driver程序和集群上的executor Driver Program 运⾏行main函数并且新 ...

bigdata learning unit two--Spark environment setting

Spark安装之前的准备

配置环境变量

bigdata learning unit two--Spark environment setting相关推荐

最新文章

热门文章