hive分区对应hadoop_hive修改分区类型

但修改分区字段类型时会报错如下：

CREATE EXTERNAL TABLE tmp.tmp_table_name(col_name string)

PARTITIONED BY (dt string COMMENT 'dt',part_col_name string COMMENT 'part_col_name')

ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'

STORED AS ORC

TBLPROPERTIES ('orc.compress'='SNAPPY');

hive> alter table tmp.tmp_table_name change part_col_name part_col_name int comment'test';

AILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. Invalid column reference part_col_name

有两种修改思路：

常规的：创建一张调整完的新表，然后将数据insert到新表

另一种：

1. 将待修改的表切换成外部表

ALTER TABLE tmp.tmp_table_name SET TBLPROPERTIES ('EXTERNAL'='true');

2. 删除该外部表，此时数据文件依然在

drop table tmp.tmp_table_name;

3. 重建该表,字段类型完成调整

CREATE EXTERNAL TABLE `tmp.tmp_table_name`(`col_name` string)

PARTITIONED BY ( `dt` string COMMENT 'dt', `part_col_name` int COMMENT 'part_col_name')

ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'

STORED AS ORC

TBLPROPERTIES ('orc.compress'='SNAPPY');

4. 重建分区

msck repair table tmp.tmp_table_name;

第二种方式一般来说是没有问题的，但是也有特殊情况会出现报错：

Failed with exception java.io.IOException:java.lang.ClassCastException: org.apache.hadoop.io.Text cannot be cast to org.apache.hadoop.io.IntWritable

会导致无法正常查询出数据

这里描述一个例子，原表曾调整过表结构， ALTER TABLE table_name CHANGE col_name col_name1 INT; 比如将string调整为int，这样会导致对应的列的数据为null，但是如果将该表数据重建后，会因这列数据导致所有数据无法查询出来，此时重建该表时需要将该列调整为string，然后再用alter改为int才和原表一样，所以使用第二种方式虽然方便，但也是会存在风险的。

hive分区对应hadoop_hive修改分区类型相关推荐

HIVE的安装配置、mysql的安装、hive创建表、创建分区、修改表等内容、hive beeline使用、HIVE的四种数据导入方式、使用Java代码执行hive的sql命令
1.上传tar包这里我上传的是apache-hive-1.2.1-bin.tar.gz 2.解压 mkdir -p /home/tuzq/software/hive/ tar -zxvf apach ...
hive 修改分区备注_Hive分区、分桶操作及其区别
点击上方"风控圈子" 选择"星标"公众号每天早上8:30,一起实现自我增值 Hive是基于Hadoop的一个数据仓库工具,使用类SQL的查询语句,即HQL对 ...
hive 修改分区备注_hive修改表/分区语句
这里主要列一些常用操作. 添加分区 ALTER TABLE table_name ADD PARTITION (partCol = 'value1') location 'loc1'; //示例 AL ...
hive 修改分区备注_hive修改表/分区语句
这里主要列一些常用操作. 添加分区 ALTER TABLE table_name ADD PARTITION (partCol = 'value1') location 'loc1'; //示例ALT ...
hive查看一张表的分区字段_Hive表分区与索引
hive表分区表分区是指将数据按照物理分层的方式进行区分开,加快查询的速度,同时也起到数据快照的作用! 创建分区表的关键字:partitioned by ,可以指定单个字段也可以指定多个字段: pa ...
Hive 05_hive变量、动态分区
hive 参数.变量 --hive当中的参数.变量,都是以命名空间开头 --通过${}方式进行引用,其中system.env下的变量必须以前缀开头 hive 参数设置方式 --1.修改 ...
Android 系统（65）---Android修改分区格式为F2FS
Android修改分区格式为F2FS 谁人没试过犹豫,达到理想不太易 -–Beyond 本文介绍如何将Android系统的/data分区改变成F2FS格式.修改的原因是F2FS分区格式拥有更加的I/O ...
linux 8e,linux下分区id如何修改,lvm是 8e
linux下分区id如何修改,lvm是 8e linux下分区id如何修改?一起来看看吧 1.输入fdisk /dev/dhb fdisk后面接上设备名称(IDE硬盘是HD SICI\STA硬盘是 S ...
苹果计算机错误怎么改,Mac电脑未能修改分区图,因为文件系统验证失败怎么办?...
有朋友会发现mac电脑提示分区失败然后说发生错误提示为未能修改分区图,因为文件系统验证失败 ,那么碰到此问题我们要如何来解决呢?下面一聚教程小伙伴就为各位介绍,有兴趣了解的可以和小编一起来看看哦. ...

hive分区对应hadoop_hive修改分区类型

hive分区对应hadoop_hive修改分区类型相关推荐

最新文章

热门文章