删除hive的分区元数据，spark总是读取到已经删掉的分区

org.apache.hadoop.mapred.InvalidInputException: Input path does not exist: hdfs://testcluster/user/hive/warehouse/....

问题分析

在hive中执行show partitions test，查看test表对应的所有分区。

看了下之前添加过的所有分区，发现有个分区对应的hdfs目录不存在了（被人为删除了，一般是清理历史数据）。但是这个分区并没有执行alter table test drop partition p=xxx这样删除掉，因为即便是不删除hive也能正常读取。

但是到Spark这就不行了，Spark加载hive分区表数据会根据show partitions中的分区去加载，发现目录缺失就会出错了。

解决方式 1 ，shell 命令删除报错分区

删除分区目录时，同时执行alter table test drop partition (p='xxx')把对应的分区也删除掉就可以了。

如果已经删除了分区目录，也需要执行上以上的命令。

解决方式 2，hue 页面操作删除报错分区

删除hive的分区元数据，spark总是读取到已经删掉的分区相关推荐

微信转账记录删除了服务器还有吗,微信转账记录删除了还能查到吗，怎么查删掉的...
有的时候我们为了保障自己的隐私安全都习惯在转账完之后删除以前的转账记录,但是有的时候其实删除了也是可以找回我们的记录的.那微信转账记录删除了还能查到吗,怎么查删掉的? 首先给大家分享一下关于微信的一个 ...
python读取文件并删掉部分内容
python读取文件并删掉部分内容文章目录 python读取文件并删掉部分内容想要把文档里的列表数据读成python中的列表数据,发现里面的NumberInt数据类型不能被识别,因此要处理掉代码 ...
桌面上计算机删除后怎么复原,电脑桌面上出现一个图标，删掉后重启桌面又恢复了？怎么才能彻底删除？...
电脑桌面上出现一个图标,删掉后重启桌面又恢复了?怎么才能彻底删除?以下文字资料是由(历史新知网www.lishixinzhi.com)小编为大家搜集整理后发布的内容,让我们赶快一起来看一下吧! 电脑桌 ...
oppo手机删除计算机怎样恢复,【数据恢复篇】oppo手机删掉的照片怎么恢复
原标题:[数据恢复篇]oppo手机删掉的照片怎么恢复手机删掉的照片可以恢复吗?oppo手机删掉的照片怎么恢复?很多人会奇怪oppo手机删掉的照片还能恢复吗?现在科技技术的提高,照片能够被恢复也是很简 ...
快速删除电脑不必要的软件（软件管理不能删掉的）
公司把配置的电脑借用了,我又重新把我的这个旧电脑重起,开始使用后发现体验感太差了,卡的要死,之前没觉得什么,用了公司的电脑后就知道自己的电脑太卡太慢,所以决定删除一些不必要的软件. 发现有些软件在软件 ...
使用Spark SQL读取Hive上的数据
Spark SQL主要目的是使得用户可以在Spark上使用SQL,其数据源既可以是RDD,也可以是外部的数据源(比如Parquet.Hive.Json等).Spark SQL的其中一个分支就是Spar ...
spark如何正确的删除hive外部表【删除表时同时删除hdfs上的数据】？
在spark 2.4.x和hive 3.1.x环境下,spark通过sql (drop table xxx)删除hive的外部表,只能删除hive的元数据信息,但没有删除hdfs上的数据,导致hdfs ...
spark sql读取hive底层_scala – 从一个hive表中读取并使用spark sql写回来
我正在使用Spark SQL读取Hive表并将其分配给 scala val val x = sqlContext.sql("select * from some_table") 然 ...
spark 无法读取hive 3.x的表数据
HDP3.0 集成了hive 3.0和 spark 2.3,然而spark却读取不了hive表的数据数据,准确来说是内表的数据. 原因 hive 3.0之后默认开启ACID功能,而且新建的表默认是AC ...

删除hive的分区元数据，spark总是读取到已经删掉的分区

删除hive的分区元数据，spark总是读取到已经删掉的分区相关推荐

最新文章

热门文章