hive分区表之insert overwrite 注意事项

hive version 3.1.3

以往我们插入分区需要

insert ovewrite table p_table partition(period_id=‘202212’)

select id name from xxxx;

或者是

insert overwrite table

select id,name,period_id from table where period_id=202212

前者是指定分区，后者是动态分区。没啥好说的。

但是今天遇到一个问题，如果我查询的数据=0，那么数据还会覆盖么？

insert overwrite table dwdmdata.xxx partition (period_id = '209901')

select id ,name

from dwdmdata.dm_ce_f_debts_mandate where 1=2

insert overwrite table dwdmdata.xxx

select id ,name,'209902' as period_id

from dwdmdata.dm_ce_f_debts_mandate where 1=2

结果

直接插入分区的，分区都没了。209901不见了

动态分区插入的没有影响。

所以这里有个注意事项！！！！如果我们建立了一个分区表，如果每个月都要更新数据，不要因为省事就是用动态分区插入。

比如跑上月的数据最开始有44条记录，后面业务说不对，应该一条都没有的，结果你重跑了，确实跑出了0条记录，但是你插入的时候就是不能覆盖。

hive分区表之insert overwrite 注意事项相关推荐

hive on spark执行insert overwrite非常慢
把一些sql执行从hive改到spark,发现执行更慢,sql主要是一些insert overwrite操作,从执行计划看到,用到InsertIntoHiveTable spark-sql> e ...
Spark源码之-CDH6下Spark2.4写Hive分区表异常
文章目录一.组件版本二.问题描述三.问题分析四.解决办法一.组件版本组件版本 Hadoop 3.0.0+cdh6.1.1 Hive 2.1.1+cdh6.1.1 spark 2.4.0+ ...
Hive insert overwrite 问题
微信公众号:苏言论理论联系实际,畅言技术与生活. 文章目录 1 测试的版本 2 insert overwrite使用说明 3 示例 4 建议的操作 5 参考链接 1 测试的版本 Apache hiv ...
spark-sql: insert overwrite分区表问题
1. 问题背景用spark-sql,insert overwrite分区表时发现两个比较麻烦的问题: 从目标表select出来再insert overwrite目标表时报错:Error in que ...
hive insert into语句和 insert overwrite语句
2019独角兽企业重金招聘Python工程师标准>>> 1.insert into 语句 hive> insert into table userinfos2 select ...
一文搞定hive之insert into 和 insert overwrite与数据分区
版权声明:本文为博主原创文章,未经博主允许不得转载. 数据分区数据库分区的主要目的是为了在特定的SQL操作中减少数据读写的总量以缩减响应时间,主要包括两种分区形式:水平分区与垂直分区.水平分区是对表 ...
Hive 的insert into 和 insert overwrite
转载:https://blog.csdn.net/qq_31382921/article/details/70911108 区分insert into 和 insert overowrite: 1. ...
hive insert overwrite directory 报错
hive insert overwrite directory 报错: 2017-06-07T16:56:11,766 ERROR [main]: exec.Task (:()) - Failed w ...
Hive insert overwrite
Hive之insert into 和insert overwrite hive通常有三种方式对包含分区字段的表进行数据插入 1)静态插入数据:要求插入数据时指定与建表时相同的分区字段,如: inser ...

hive分区表之insert overwrite 注意事项

hive分区表之insert overwrite 注意事项相关推荐

最新文章

热门文章