hive replace_Hive新增字段(column)后，旧分区无法更新数据问题

遇到的问题：

今天给一个hive表增加一个新字段，使用如下语句

alter table  industry_db.product
add columns(industry_id string comment ‘行业id);

hive数据库表，显示了新增加的字段，我以为添加成功。但如果hive数据表p_date="20200306" 已经有旧的分区的industry_id将为空且无法更新，即便insert overwrite该分区也不会生效。

但是这种方法还在新的分区生效，就是以前没运行过的分区。比如我们把p_date作为分区标识符，今天是20200306这个分区。如果在20200307这个分区就可以，但是在20200306已经运行过的分区就不行。

解决方法：

解决方法需要在增加industry_id时加上cascade关键字。新增字段含义如下：

cascade为“级联”，不仅变更新分区的表结构（metadata），同时也变更旧分区的表结构。

alter table  industry_db.product
add columns(industry_id string comment ‘行业id) cascade;

如果已经执行添加操作，并且没有带cascade，可以尝试下面的方法：

1、使用replace 恢复表结构，这样历史的分区数据都不会消失
alter table industry_db.product replace
columns(product_name string comment ‘产品名’);
2、然后再使用带cascade添加字段

hive replace_Hive新增字段(column)后，旧分区无法更新数据问题相关推荐

hive分区用2个字段有何限制_[Hive]新增字段(column)后，旧分区无法更新数据问题...
问题描述: 实际应用中,常常存在修改数据表结构的需求,比如:增加一个新字段. 如果使用如下语句新增列,可以成功添加列col1.但如果数据表tb已经有旧的分区(例如:dt=20190101),则该旧分区 ...
hive表新增字段和字段注释修改
hive表新增字段,修改字段的注释 (1)创建测试表: use mart_flow_test; create table if not exists mart_flow_test.detail_flo ...
es重建字段类型_关于elasticsearch中更新数据的几种方式
作为一个成熟的框架,Elasticsearch里面提供了丰富的操作数据的api,本篇我们就来学习一下在es中更新数据的几种方式. (一)更新文档 (1)部分更新: java api: ` HashMa ...
arcgis server发布shp服务实现数据库更新后服务也相应更新数据
arcgis server发布shp服务实现数据库与服务同步更新数据 1 前言 2 shp文件条件准备>使用arc Map 打开shp文件 3 托管关联数据库 4 发布服务 1 前言现在有一个 ...
Django讲课笔记09：使用QuerySet新增和更新数据
文章目录零.本讲学习目标一.课程导入二.新课讲授 (一)Shell模式新增数据 1.使用实例化 - 赋值 - save新增数据 2.使用create新增数据 3.使用字典与create新增数据 ...
hive3新增資料_Hive表新增字段后，新字段无法写入值问题总结
问题描述今天同事让我把订单表新增一个字段,我新增好字段后,重跑脚本,验证数据的时候发现新增加的那个字段的值都是NULL.脚本通过insert overwrite覆盖T+1的历史数据. 新增字段的sq ...
hive、pg库：新增字段、修改字段类型 alter table
hive新增字段: alter table dwa.A_DS_INACTIVE_MODEL_D add columns (model5lr_prob double COMMENT 'model5lr_ ...
hive查看一张表的分区字段_Hive表的分区与分桶
1.Hive分区表 Hive使用select语句进行查询的时候一般会扫描整个表内容,会消耗很多时间做没必要的工作.Hive可以在创建表的时候指定分区空间,这样在做查询的时候就可以很好的提高查询的效率. ...
Oracle数据库在指定字段后新增字段
记录一下数据库中为表增加字段,且在指定字段后新增: mysql数据库的话比较简单通过一下sql语句即可实现: -- 为表t在B字段后新增字段 alter table t add column fild ...
EAS BOS 新建单据后新增字段
EAS BOS 新建单据后新增字段 1.在新建的单据界面上单击右键,选择字段管理,然后出现下图界面,然后点击新增字段 2.因为每个字段的类型不一样,所以选择的时候需要注意. F7基础资料类型已有基 ...

hive replace_Hive新增字段(column)后，旧分区无法更新数据问题

hive replace_Hive新增字段(column)后，旧分区无法更新数据问题相关推荐

最新文章

热门文章