Spark集群启动时worker节点启不起来

在spark集群中使用命令：

sbin/start-all.sh

启动集群时报错：

starting org.apache.spark.deploy.master.Master, logging to /home/yxk/cluster/spark/logs/spark-yxk-org.apache.spark.deploy.master.Master-1-linux.out
yxk@linux's password:
linux: starting org.apache.spark.deploy.worker.Worker, logging to /home/yxk/cluster/spark/logs/spark-yxk-org.apache.spark.deploy.worker.Worker-1-linux.out
linux: failed to launch: nice -n 0 /home/yxk/cluster/spark/bin/spark-class org.apache.spark.deploy.worker.Worker --webui-port 8081 spark://linux:7077
linux:   JAVA_HOME is not set
linux: full log in /home/yxk/cluster/spark/logs/spark-yxk-org.apache.spark.deploy.worker.Worker-1-linux.out

从日志分析中可以看出启动时找不到JAVA_HOME

不过检查当前用户下的java环境是正常的，经分析寻找资料在这个博客中找到了原理https://stackoverflow.com/questions/33955635/why-does-start-all-sh-from-root-cause-failed-to-launch-org-apache-spark-deploy

解决方法

在当前用户的.bashrc文件中加入java的环境变量

$ vim ~/.bashrc加入java环境变量

重新启动spark集群

使用jps命令查看当前的进程。显示正常

Spark集群启动时worker节点启不起来相关推荐

搭建nacos集群启动时，报错Unable to start web server； nested exception is org.springframework.boot.web.server
最近在学习springcloud阿里巴巴的使用,单机使用nacos启动时没有问题,修改了配置之后启动报错,如下 org.springframework.context.ApplicationConte ...
spark集群启动正常，但是提交任务后只有一个节点(slave/worker)参与集群计算
#-----------------------------环境如下---------------------------------------------------- 台式机hostname:D ...
手动搭建k8s-1.16.6高可用集群之部署worker节点-部署kubelet组件
kubelet 运行在每个 worker 节点上,接收 kube-apiserver 发送的请求,管理 Pod 容器,执行交互式命令,如 exec.run.logs 等. kubelet 启动时自动向 ...
Hadoop集群启动时,nameNode进程没有启动 :Permission denied (publickey,gssapi-keyex,gssapi-with-mic,password)解决方法
前言今天搭建Hadoop集群的最后,启动hadoop集群后,发现nameNode进程并没有启动,基于相信自己的原则,我一直认为我已经将生成的公钥添加到本地的认证文件中,排查了半天,最终还是选择,查看 ...
zookeeper集群启动时配置异常 myid file is missing
当你启动zookeeper集群时报如下的错误时第一时间去看你的conf/zoo.cfg配置文件中的dataDir路径是否是你想要配置的路径,是否和异常中的一样: 如果一样的话,那么证明你真的没有myi ...
Hadoop集群启动时NameNode未启动解决方法
最近,我在学习搭建hadoop集群,可是搭建完成后当使用start-all.sh启动hadoop集群的时候,发现NameNode未启动,我经过反复查询发现是因为datanode的clusterID不匹 ...
hadoop 集群启动时 Address already in use 解决方法
搭建好hadoop集群之后,运行start-all.sh脚本,发现有如下报错 starting namenode, logging to /usr/local/hadoop/libexec/../lo ...
yarn集群启动时，并不自动启动resoucemanager的原因
根据其命令的信息中看出:vi start-yarn.sh Start all yarn daemons. Run this on master node. 在一个resoucemanager的节点上 ...
Spark学习笔记(三)：使用Java调用Spark集群
我搭建的Spark集群的版本是2.4.4. 在网上找的maven依赖,链接忘记保存了.... <properties><project.build.sourceEncoding> ...

Spark集群启动时worker节点启不起来

解决方法

Spark集群启动时worker节点启不起来相关推荐

最新文章

热门文章