HDFS文件权限不足导致Sqoop执行失败

故障信息

在使用sqoop从Mysql向HDFS导入文件时报错：

Caused by: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.AccessControlException): Permission denied: user=root, access=WRITE, inode="/user/root/.staging":hdfs:hdfs:drwxr-xr-x

解决方法

1、查看hdfs上目录权限，可以看出/usrer/root目录的属主为hdfs，因此可以以hdfs用户的身份修改该目录权限：

[root@hdp1 ~]# hadoop dfs -ls /user/
DEPRECATED: Use of this script to execute hdfs command is deprecated.
Instead use the hdfs command for it.Found 12 items
drwx------   - accumulo  hdfs            0 2018-04-24 14:55 /user/accumulo
drwxrwx---   - ambari-qa hdfs            0 2018-04-24 15:00 /user/ambari-qa
drwxr-xr-x   - druid     hadoop          0 2018-04-24 14:56 /user/druid
drwxr-xr-x   - hbase     hdfs            0 2018-04-24 14:53 /user/hbase
drwxr-xr-x   - hcat      hdfs            0 2018-04-24 14:56 /user/hcat
drwxr-xr-x   - hdfs      hdfs            0 2018-04-25 18:19 /user/hdfs
drwxrwxrwx   - hive      hdfs            0 2018-05-29 21:26 /user/hive
drwxrwxr-x   - livy      hdfs            0 2018-04-24 14:54 /user/livy
drwxrwxr-x   - oozie     hdfs            0 2018-04-24 14:58 /user/oozie
drwxrwxrwx   - hdfs      hdfs            0 2018-05-29 20:41 /user/root
drwxrwxr-x   - spark     hdfs            0 2018-04-24 14:53 /user/spark
drwxr-xr-x   - zeppelin  hdfs            0 2018-04-24 14:54 /user/zeppelin

2、修改相应目录的权限：

sudo -u hdfs hadoop fs -chmod  -R 777 /user/root/

3、再次执行sqoop命令

参考：https://www.cnblogs.com/hapjin/p/4846853.html

HDFS文件权限不足导致Sqoop执行失败相关推荐

mysql数据库建表失败_mysql数据库文件太大导致建表失败，如何避免
[求助]mysql数据库文件太大导致建表失败,如何处理? 目录下各文件大小如下: root /mbsc/mysql/data # ll total 120646812 -rw-rw---- 1 mys ...
impala中 alter table add partition 对HDFS文件权限的影响
偶然的机会发现用其他用户重写impala用户下的分区数据时有些表报错,有些表不报错,重写报错信息(Error while processing statement: FAILED: Execution ...
HDFS 文件权限验证
hdfs的文件权限机制与linux系统的文件权限机制类似 r:read w:write x:execute 权限x对于文件表示忽略,对于文件夹表示是否有权限访问其内容如果linux系统用户zhang ...
Hadoop HDFS 文件权限验证
hdfs的文件权限机制与linux系统的文件权限机制类似 r:read w:write x:execute 权限x对于文件表示忽略,对于文件夹表示是否有权限访问其内容如果linux系统用户zhang ...
Java读取hdfs文件权限问题
在连接hadoop时,加入一下代码 System.setProperty("HADOOP_USER_NAME","hadoop"); 修改配置文件将hdfs- ...
mysql truncate table导致事务执行失败There is no active transaction
2022年7月25日10:59:44 开发环境 php8 laravel8 mysql8在做一个动态文件管理的时候,发现如果我每次需要清空某个表的时候,在事务里面truncate table会触发 T ...
解决由于权限问题导致YUM安装失败
问题描述: 当使用yum安装软件时,一直提示如下错误,导致安装不了 error: unpacking of archive failed on file /usr/sbin/xxxxx: cpio: ...
win10权限混乱导致npm安装失败的解决
因为瞎折腾,导致win10系统的权限混乱,再使用npm进行包全局安装的时候,会提示错误有一种解决办法是: 用管理员身份打开cmd. 这种方式可以安装,但是在日常使用的时候或者要在IDE终端进行使用命 ...
当因为上传文件过大导致上传失败时
<httpRuntime targetFramework="4.6" appRequestQueueLimit="100" executionTimeou ...

HDFS文件权限不足导致Sqoop执行失败

故障信息

解决方法

HDFS文件权限不足导致Sqoop执行失败相关推荐

最新文章

热门文章