Spark：通过start-slaves.sh脚本启动worker报错：Permission denied

背景信息：

Spark两个节点，主机名分别为master和slave，$SPARK_HOMR/conf/slaves配置了两条记录：两行分别为master和slave。

错误描述：

但是启动的时候报错如下：

[root@master sbin]# ./start-slaves.sh
root@master's password: 192.168.209.140: starting org.apache.spark.deploy.worker.Worker, logging to /home/spark/spark-2.2.0-bin-hadoop2.7/logs/spark-root-org.apache.spark.deploy.worker.Worker-1-slave.zetyun.com.outroot@master's password: master: Permission denied, please try again.root@master's password: master: Permission denied, please try again.master: Permission denied (publickey,gssapi-keyex,gssapi-with-mic,password).

从报错信息可以看出，是从master访问master失败了。

解决步骤：

该脚本中，要用ssh免密登录到slaves文件中的每个主机上，由于只配置了master与slave的信任关系，但没有配置master与master的信任关系，因此，造成如上失败。

因此只要将master节点的id_rsa.pub 文件内容追加到authorized_keys文件中即可。

Spark：通过start-slaves.sh脚本启动worker报错：Permission denied相关推荐

Spark权限问题：Spark-submit运行报错 Permission denied user=deploy
1.视界 2.背景 Spark权限问题:Spark-submit运行报错 Permission denied user=deploy 这个问题是权限问题,只需要修改一下hdfs路径的权限就好了原本的 ...
Spark On Kubernetes报错Permission denied: user=root, access=WRITE, inode=/user/spark/log:hadoop:supe
Spark On Kubernetes 提交测试任务,driver pod 报错日志,如下: 19/11/06 07:38:05 INFO OutputCommitCoordinator$Output ...
Ubuntu Hadoop3.0.0 ./start-all.sh报错Permission denied (publickey,password)
导致原因,没有设置ssh免密登陆 cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys sbin/start-all.sh jps 显示 3073 ...
hbase启动报错Permission denied: user=xxx, access=WRITE, inode=“/HBase/MasterProcWALs“:root:supergroup:d
原因是因为在配置hadoop时没有添加相关配置项应该在hdfs-site.xml文件中添加 dfs.permissions.enabled=false
spark报错Permission denied: user=test, access=WRITE, inode=/:hdfs:supergroup:drwxr-xr-x
项目背景使用structured streaming消费kafka某个topic数据并写入hdfs上.本地运行没有错误,部署在yarn上报错. 问题排查根据报错提示,是test用户没有权限操作hd ...
Elasticsearch启动时，出现Permission denied，权限不足报错
在CentOS7上手动启动ES报错Permission denied,权限不足,下面是解决步骤: 错误完整日志: [root@testmachine ~]# su es [es@testmachine ...
linux启动sh文件命令,Linux下如何写 .sh 脚本启动项目
Linux下如何写 .sh 脚本启动项目创建文件 mealcoupon.sh 内容如下: #!/bin/bash #这里可替换为你自己的执行程序,其他代码无需更改 APP_NAME=xhqy_ ...
sh命令脚本在终端运行出现Permission denied的解决办法
从网上下载的sh批处理文件在终端运行出现Permission denied的解决办法: 原因:*.sh文件没有执行权限解决: 方法1:chmod +x [此处拖入文件自动显示] .[此处拖入文件自动 ...
迅速解决！！！！！启动Tomcat报错PermGen space
启动Tomcat报错 PermGen space 内存溢出解决方法:扩大tomcat内存修改参数:set JAVA_OPTS=-Xms1024m -Xmx1024m -XX:PermSi ...

Spark：通过start-slaves.sh脚本启动worker报错：Permission denied

Spark：通过start-slaves.sh脚本启动worker报错：Permission denied相关推荐

最新文章

热门文章