spark-env.sh配置——Spark学习日记
大数据
Spark 不显示Worker问题
配置好spark后，输入jps只有Master，没有Worker
修改spark-env.sh文件
找到spark-env.sh位置
//我的spark-env.sh位置
/home/hadoopadmin/spark-2.3.1-bin-hadoop2.7/conf
如果有 template 结尾的文件，都重命名为去掉 template
编辑spark-env.sh文件
vim spark-env.sh
修改里面的内容
变量说明
- JAVA_HOME：Java安装目录
- SCALA_HOME：Scala安装目录
- HADOOP_HOME：hadoop安装目录
- HADOOP_CONF_DIR：hadoop集群的配置文件的目录
- SPARK_MASTER_IP：spark集群的Master节点的ip地址
- SPARK_WORKER_MEMORY：每个worker节点能够最大分配给exectors的内存大小
- SPARK_WORKER_CORES：每个worker节点所占有的CPU核数目
- SPARK_WORKER_INSTANCES：每台机器上开启的worker节点的数目
把更新过后的spark拷到其他虚拟机中
scp -r /home/hadoopadmin/spark-2.3.1-bin-hadoop2.7 hadoopadmin@ETC02:/home/hadoopadmin
scp -r /home/hadoopadmin/spark-2.3.1-bin-hadoop2.7 hadoopadmin@ETC03:/home/hadoopadmin
重新启动spark,再次用jps查看当前状态（启动spark之前，保证hadoop正在运行）
spark-env.sh配置——Spark学习日记相关推荐
- Spark（十二） -- Spark On Yarn Spark as a Service Spark On Tachyon
Spark On Yarn: 从0.6.0版本其,就可以在在Yarn上运行Spark 通过Yarn进行统一的资源管理和调度 进而可以实现不止Spark,多种处理框架并存工作的场景 部署Spark On ...
- Spark面试，Spark面试题，Spark面试汇总
Table of Contents 1.你觉得spark 可以完全替代hadoop 么? 2.Spark消费 Kafka,分布式的情况下,如何保证消息的顺序? 3.对于 Spark 中的数据倾斜问题你 ...
- 学习笔记Spark（六）—— Spark SQL应用（1）—— Spark SQL简介、环境配置
一.Spark SQL简介 1.1.Spark SQL特性 Spark SQL是Spark Core之上的一个组件,它引入了一个称为SchemaRDD的新- 数据抽象,它为结构化和半结构化数据提供支持 ...
- 学习笔记Spark（二）—— Spark集群的安装配置
一.我的软件环境 二.Spark集群拓扑 2.1.集群规模 192.168.128.10 master 1.5G ~2G内存.20G硬盘.NAT.1~2核 : 192.168.128.11 node1 ...
- 学习笔记Spark（十）—— Spark MLlib应用（2）—— Spark MLlib应用
三.Spark MLlib应用 3.1.Spark ML线性模型 数据准备 基于Spark ML的线性模型需要DataFrame类型的模型数据,DataFrame需要包含:一列标签列,一列由多个特征合 ...
- Spark远程调试配置，在IDEA中的配置
关于Spark集群部署参考:http://blog.csdn.net/tototuzuoquan/article/details/74481570 一.Spark远程调试配置: #调试Master,在 ...
- linux上配置spark集群
环境: linux spark1.6.0 hadoop2.2.0 一.安装scala(每台机器) 1.下载scala-2.11.0.tgz 放在目录: /opt下,tar -zxvf scala- ...
- spark集群配置以及java操作spark小demo
spark 安装 配置 使用java来操作spark spark 安装 tar -zxvf spark-2.4.0-bin-hadoop2.7.tgz rm spark-2.4.0-bin-hadoo ...
- Spark History Server配置及其启动
Spark history Server产生背景 以standalone运行模式为例,在运行Spark Application的时候,Spark会提供一个WEBUI列出应用程序的运行时信息:但该WEB ...
最新文章
- 基于μC／OS—III的CC1120驱动程序设计
- python 语言教程（3）变量之字典
- DataBinding 学习系列（2）详解DataBinding在xml中的使用
- 程序无法启动ALL_BUILD 拒绝访问
- pywin32 获取窗口句柄_Excel VBA | 这个窗口居然关不掉
- php项目怎么分配,php项目目录的合理划分和Pipeline 组件的使用场景
- Citrix XenApp6.5的安装
- 搜索引擎学习笔记001---lucene简明介绍
- 谦虚：让你备受人们的欢迎 — 《别输在不会表达上》
- [转]VC 键盘虚拟码
- 2019PHP最新简历
- 概率图模型--因子图
- python正则表达式代码_python正则表达式实例代码
- 夜晚网速变慢与网站服务器开机数量减少有关,【网络】网速慢的原因与对策
- 形而上学 “形而上者谓之道，形而下者谓之器”
- 笔记本绝密内幕 你不知道的代工秘密
- nginx配置反向代理验证ssl证书 双向认证
- Injected and Delivered: Fabricating Implicit Control over Actuation Systems by Spoofing Inertial Sen
- QQ用户的帐号和密码安全
- linuxoracle图形界面无法跳出_Linux 7图形化安装Oracle或者其他软件，打不开图形界面的问题 | 信春哥，系统稳，闭眼上线不回滚！...