hive on spark : 使用load data 命令将hdfs上数据覆写到hive表中报错：could not be cleaned up解决方法

问题出现：

在执行sh脚本时，执行

load data inpath '/origin_data/$APP/db/order_info/$do_date' OVERWRITE into table ${APP}.ods_order_info partition(dt='$do_date');

报错：

Loading data to table gmall.ods_order_detail partition (dt=2020-06-23)
FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.MoveTask. Directory hdfs://hadoop102:8020/warehouse/gmall/ods/ods_order_detail/dt=2020-06-23 could not be cleaned up.

解决方法：因为被覆写的表是分区表，不过现在删掉了该分区的数据，而之前导入过该分区的数据，这会导致hive的元数据库中会记录。只要将该表删掉重新创建即可。

hive on spark : 使用load data 命令将hdfs上数据覆写到hive表中报错：could not be cleaned up解决方法相关推荐

Hive Create Table和Load DATA详解
Hive Create Table和Load DATA详解一.Hive Create Table详细讲解二.LOAD DATA 测试使用三.内部表和外部表区别 Hive在使用创建表的时候,有有一 ...
python里load什么意思_如何从python中执行LOAD DATA命令
我该怎么做?在import MySQLdb conn = MySQLdb.connect ( host = settings.DATABASES['default']['HOST'], port = ...
解决mysql load data加载本地null数据，表里出现0的情况
解决mysql load data加载本地null数据,表里出现0的情况问题说明: sql执行语句如下代码块: ---- 欢迎讨论沟通 ---- 问题说明: 本人在使用mysql加载本地数据过程中, ...
数据库load data命令批量插入txt文件的数据
进入mysql命令行如果出现不允许外部文件的导入可以在mysql客户端输入: set global local_infile=1; 准备好实验数据 public static void main( ...
jpa mysql脚本迁移_JPA通过LOAD DATA LOCAL INFILE大批量导入数据到MySQL
连接层代码: import org.hibernate.Session; import org.hibernate.internal.SessionFactoryImpl; import org.sp ...
mysql8的load data_mysql8.0 使用LOAD DATA LOCAL INFILE 批量插入数据
mysql从5升级到8之后,因为驱动变化,以前的方法部分方法再8中不能使用, LOAD DATA LOCAL INFILE做为一个好用高效的方法也有一些变化代码: public voi ...
MySQL LOAD DATA INFILE 导入 CSV 格式数据
主要介绍将 Neo4j 数据库中数据全部导入到 MySQL 数据库中,将 Neo4j 数据导出为 CSV 格式数据,然后再将 CSV 格式数据导入到 mysql 中. 前半部分,即 Neo4j 数据导 ...
hive 导入hdfs数据_将数据加载或导入运行在基于HDFS的数据湖之上的Hive表中的另一种方法。
hive 导入hdfs数据 Preceding pen down the article, might want to stretch out appreciation to all the well ...
put命令here are 2 datanode(s) running and 2 node(s) are excluded in this operation.的解决方法
#put: File /user/jc/input/myFile.txt.COPYING could only be replicated to 0 nodes instead of minRepli ...
Hive外部分区表加载flume打到hdfs上文件，读不到.tmp文件
摘要 flume打到hdfs上时,按照文件大小生成文件,在达到指定大小之前数据都是以.tmp文件形式保存在hdfs上,hive外部表也会加载这些文件,但是当文件完成后.tmp会消失,这时候hive会报 ...

hive on spark : 使用load data 命令将hdfs上数据覆写到hive表中报错：could not be cleaned up解决方法

hive on spark : 使用load data 命令将hdfs上数据覆写到hive表中报错：could not be cleaned up解决方法相关推荐

最新文章

热门文章