Hive分区修复msck repair

Hive的[MSCK REPAIR TABLE] 命令全量修复分区，目的就是将分区信息更新到元数据库中。该命令通常用于分区表的分区修复。
官方解释：（翻译版）

Hive将每个表的分区信息保存在metastore中，如果通过hadoop fs -put命令直接将分区信息添加到HDFS，metastore是不会感知到这些新增的分区，除非执行了ALTER TABLE table_name ADD PARTITION命令。但是用户可以运行metastore检查命令MSCK REPAIR TABLE table_name;该命令将关于分区的元信息添加到Hive metastore中，这是对于那些没有元信息的分区来说的。换句话说，就是将任何存在于HDFS上但不在metastore上的分区添加到metastore。

案例一：CDH-HDP 数仓迁移后分区修改

例如从CDH迁移到HDP环境，distcp数据之后HDFS文件已经迁移到HDP的HDFS目录，但是在HDP环境中的hive未查到数据，就需要进行分区修复。

/* 移动HDFS位置 */
hdfs dfs -cp /cdhtest/dw_om_actual_sales_f_crm_bak/dw_om_actual_sales_f_crm_bak

Hive分区修复msck repair相关推荐

Hive有分区文件到时select不到数据问题-----修复分区命令 msck repair table xxxxx
问题:在导数据到hive分区表时, 手动把HDFS路径建好了,然后把对应的文件添加到路径下. 这时用select语句查询却查不到数据. 原因:虽然分区文件有了,但是分区信息没有添加到hive元数据表中 ...
Hive分区修复命令MSCK介绍与使用
我们在使用Hive的时候肯定遇到过建立了一张分区表,然后手动(比如使用 cp 或者 mv )将分区数据拷贝到刚刚新建的表作为数据初始化的手段:但是对于分区表我们需要在hive里面手动将刚刚初始化的数据 ...
hive执行msck repair报错msck is missing partition columns under hdfs：//表分区路径
排查: 查看hiveserver日志报以下异常 msck is missing partition columns under hdfs://表分区路径查看hdfs该表分区目录,存在分区=$%xxx ...
Hive 修复分区 MSCK REPAIR TABLE的使用
因为昨天工作的时候踩了坑,所以来记录一下.(我的问题是:我把hive表手动删掉 ,后来重新创建了一个一样的表,然后原有的分区数据全部损坏了,数据导不进去了) 一.msck repair table ...
HIVE常用命令之MSCK REPAIR TABLE
目录 MSCK REPAIR TABLE 命令是做啥的例子后续 MSCK REPAIR TABLE 命令是做啥的 MSCK REPAIR TABLE命令主要是用来解决通过hdfs dfs -put ...
HIVE常用命令之MSCK REPAIR TABLE命令简述
工作中发现很多同事连基础的hive命令都不知道,所以准备写一个系列把hive一些常用的命令进行一个总结.第一个讲的命令是MSCK REPAIR TABLE. MSCK REPAIR TABLE 命令是 ...
Hive分区——Partition(静态分区，动态分区)详解
文章目录分区目的分区的创建 1.创建建表时候不管动态还是静态分区 2.执行load 装载数据 3.查看表结构,查询分区表的数据 4.静态分区: 5.动态分区: 多分区表分区的增删改查分区目的 ...
hive分区、数据加载、数据导出、数据类型
一.hive分区 1.特点: 分区表与其他表不同点在于,分区字段的值为表目录下的子目录格式 ,为: 分区字段=值 2.建表语句 create database learn2; CREATE TABLE ...
hive分区对应hadoop_hive修改分区类型
但修改分区字段类型时会报错如下: CREATE EXTERNAL TABLE tmp.tmp_table_name(col_name string) PARTITIONED BY (dt string ...
HIve学习：Hive分区修改
文章目录什么是Hive的分区分区意义分区技术分区方法和本质创建一级分区表创建二级分区表如何修改Hive的分区查看分区添加分区分区名称修改修改分区路径删除分区分区类别 hive ...

Hive分区修复msck repair

案例一：CDH-HDP 数仓迁移后分区修改

Hive分区修复msck repair相关推荐

最新文章

热门文章