spark报错Permission denied: user=test, access=WRITE, inode=/:hdfs:supergroup:drwxr-xr-x

项目背景

使用structured streaming消费kafka某个topic数据并写入hdfs上。本地运行没有错误，部署在yarn上报错。

问题排查

根据报错提示，是test用户没有权限操作hdfs的根目录，hdfs用户有权限。则使用hdfs用户进行部署，运行正常。发现在hdfs根目录下生成文件

/yarn/nm/usercache/hdfs/appcache/application_1560935858543_2777/container_e18_1560935858543_2777_01_000001/tmp/temporary-46dc51d5-226d-4b62-8f22-42eef565d138/*

发现该结构为checkpoint结构。又重新在本地运行了，仔细检查了，发现原来在本地也会生成checkpoint文件结构。文件目录是C:\Users\我的账号\AppData\Local\Temp\temporary-95fea160-e249-4694-b31b-6010fd42d45f/*

问题解决

df.writeStream.format("parquet").option("checkpointLocation", "path/to/checkpoint/dir")  //此处需添加.option("path", "path/to/destination/dir").start()

spark报错Permission denied: user=test, access=WRITE, inode=/:hdfs:supergroup:drwxr-xr-x相关推荐

运行报错 Permission denied: user=Admin, access=WRITE, inode=/:root:supergroup:drwxr-xr-x
运行idea eclipse的时候报错报错原因:第一次在本地运行wordCount的时候会报这种错,显示说没有权限,之前以为是电脑权限的问题,后来换成运行本地文件的时候不会报错,突然想到代码中的路径 ...
Spark On Kubernetes报错Permission denied: user=root, access=WRITE, inode=/user/spark/log:hadoop:supe
Spark On Kubernetes 提交测试任务,driver pod 报错日志,如下: 19/11/06 07:38:05 INFO OutputCommitCoordinator$Output ...
hbase启动报错Permission denied: user=xxx, access=WRITE, inode=“/HBase/MasterProcWALs“:root:supergroup:d
原因是因为在配置hadoop时没有添加相关配置项应该在hdfs-site.xml文件中添加 dfs.permissions.enabled=false
报错Permission denied: user=root, access=EXECUTE, inode=“/tmp/hadoop-root“解决办法
方法1 修改文件权限给root hadoop fs -chown -R root:root /tmp 方法2 开放文件权限给所有人 hadoop fs -chmod -r 777 /tmp## 如果报 ...
hadoop 权限错误 Permission denied: user=root, access=WRITE, inode=/:hdfs:super
关于不能执行Hadoop命令并报权限问题执行错误1.Permission denied: user=root, access=WRITE, inode="/":hdfs:supe ...
Permission denied: user=root, access=WRITE, inode=/:hadoopuser:supergroup:drwxr-xr-x
提示往HDFS写文件是不容许的. 在conf/hdfs-site.xml中加入: <property><name>dfs.permissions</name>< ...
Hadoop报错AccessControlException: Permission denied: user=vincent, access=WRITE, inode=/:iie4bu:supe
尝试使用Java操作Hadoop,代码如下: /*** 使用Java API操作HDFS文件系统*/ public class HDFSAPP {public static void main(Str ...
Hive报错：Hive JDBC：Permission denied: user=anonymous, access=EXECUTE, inode=”/tmp”
1.美图今天使用JDBC来操作Hive时,首先启动了hive远程服务模式:hiveserver2 &(表示后台运行),然后到eclipse中运行程序时出现错误: Permission den ...
Spark权限问题：Spark-submit运行报错 Permission denied user=deploy
1.视界 2.背景 Spark权限问题:Spark-submit运行报错 Permission denied user=deploy 这个问题是权限问题,只需要修改一下hdfs路径的权限就好了原本的 ...

spark报错Permission denied: user=test, access=WRITE, inode=/:hdfs:supergroup:drwxr-xr-x

项目背景

问题排查

问题解决

spark报错Permission denied: user=test, access=WRITE, inode=/:hdfs:supergroup:drwxr-xr-x相关推荐

最新文章

热门文章