impala中 alter table add partition 对HDFS文件权限的影响

偶然的机会发现用其他用户重写impala用户下的分区数据时有些表报错，有些表不报错，重写报错信息（Error while processing statement: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.MoveTask. Exception when loading 1 in table）。都是用impala用户插入的分区数据有些HDFS文件权限是755，有些权限是777。最后发现是因为是否执行alter table add partition影响的。

测试如下：

首先创建一个分区表：

 CREATE  TABLE p3edwadm.tab_test (id STRING,name STRING
)
PARTITIONED BY (date_timekey STRING, hour STRING
)
ROW FORMAT DELIMITED FIELDS TERMINATED BY '|'
STORED AS PARQUET

查看此时后台文件的权限是777（黏贴位可忽略，也可去除，对本实验不影响）

drwxrwxrwt   - impala    hive                0 2021-11-09 10:13 /user/hive/warehouse/p3edwadm.db/tab_test

不手动添加分区，直接插入分区数据，发现文件权限是755

INSERT OVERWRITE TABLE test.tab_test
PARTITION(date_timekey,hour)
select   '1','ee','20211101','202111010730'hdfs dfs -ls /user/hive/warehouse/test.db/tab_test
Found 2 items
drwxrwxrwt   - impala hive          0 2021-11-09 10:43 /user/hive/warehouse/test.db/tab_test/_impala_insert_staging
drwxr-xr-x   - impala hive          0 2021-11-09 10:43 /user/hive/warehouse/test.db/tab_test/date_timekey=20211101

手动添加分区之后再插入分区数据，发现文件权限就是777：

Alter table test.tab_test add if not exists  partition (date_timekey='20211102',hour='202111020730') ;
INSERT OVERWRITE TABLE test.tab_test
PARTITION(date_timekey,hour)
select   '1','ee','20211102','202111020730'hdfs dfs -ls /user/hive/warehouse/test.db/tab_test
Found 3 items
drwxrwxrwt   - impala hive          0 2021-11-09 10:45 /user/hive/warehouse/test.db/tab_test/_impala_insert_staging
drwxr-xr-x   - impala hive          0 2021-11-09 10:43 /user/hive/warehouse/test.db/tab_test/date_timekey=20211101
drwxrwxrwt   - impala hive          0 2021-11-09 10:45 /user/hive/warehouse/test.db/tab_test/date_timekey=20211102

结论：

在impala新增分区数据的时候最好手动添加分区后再插入分区数据，以免后续其他用户操作报错。

历史数据可用如下命令进行修改：

hdfs dfs -chmod 777 /user/hive/warehouse/test.db/tab_test/*

impala中 alter table add partition 对HDFS文件权限的影响相关推荐

MySQL中alter table range partition
最近在用MySQL开发新功能时,使用到了alter table range partition的功能,在此总结下mysql innodb支持的alter table range partition相关 ...
mysql锁表_MySQL中Alter table 你不知道的性能问题
前言: MySQL 的大表运维总是令人头疼的一件事,特别是大表表结构的修改尤为困难. 首先,alter table 的process不可被kill , 一旦执行就不可回退. 其次,大多数的alter ...
mysql 锁24小时_MySQL中Alter table 不长时间锁表的情况汇总。
查看原文:http://www.tanbo.name/html/99669.html 前言: MySQL 的大表运维总是令人头疼的一件事,特别是大表表结构的修改尤为困难. 首先,alter table ...
mysql 删除process_MySQL中Alter table 你不知道的性能问题
前言: MySQL 的大表运维总是令人头疼的一件事,特别是大表表结构的修改尤为困难. 首先,alter table 的process不可被kill , 一旦执行就不可回退. 其次,大多数的alter ...
【总结】alter table *** add constraint *** 用法 . 建立约束，主键、外键的SQL语句写法
[总结]alter table *** add constraint *** 用法 2010年08月26日星期四 08:31 1.主键约束: 要对一个列加主键约束的话,这列就必须要满足的条件就是分空 ...
MySQL 新增字段（alter table add column)，报错：Duplicate entry
问题执行一个增加字段的DDL语句脚本时,报错,错误如下: Error 1062: Duplicate entry 'c51d3db8-59a5 2022-06-28 17:59:59' for ke ...
HDFS 文件权限验证
hdfs的文件权限机制与linux系统的文件权限机制类似 r:read w:write x:execute 权限x对于文件表示忽略,对于文件夹表示是否有权限访问其内容如果linux系统用户zhang ...
Hadoop HDFS 文件权限验证
hdfs的文件权限机制与linux系统的文件权限机制类似 r:read w:write x:execute 权限x对于文件表示忽略,对于文件夹表示是否有权限访问其内容如果linux系统用户zhang ...
alter table add column多个字段_SQL对表中字段的操作 alter
ALTER TABLE 语句用于在现有表中添加.删除或修改列. 注意不同的数据库的语句有所不一样增加和删除都基本一致. 进行修改表中字段的时候注意: 本文主要介绍 sqlserver/mysql/o ...

impala中 alter table add partition 对HDFS文件权限的影响

impala中 alter table add partition 对HDFS文件权限的影响相关推荐

最新文章

热门文章