Spark读Hive分区表报错：Caused by: org.apache.hadoop.mapred.InvalidInputException: Input path does not exist
前言
之前删除Hive分区表的时候，直接用hadoop fs -rm -r 命令删除了hdfs上的分区目录，然后用spark读取hive的这个表的时候，就报错了：
Caused by: org.apache.hadoop.mapred.InvalidInputException: Input path does not exist: hdfs://nameservice1/data/source/ads/ads_table_test/statis_month=201908/day=11
但是用Hive读取的时候就是正常的
原因分析
删除Hive分区目录如果直接用hadoop fs -rm -r 删除那么，分区目录的确是不存在了，但是表的结构信息依然存在，用spark读取的时候会先找到表的元数据信息，一看有这个分区，然后就去加载，可到hdfs读取该目录的时候，却发现根本不存在，所以就报错。
解决方法
删除分区目录时，同时执行：
alter table test drop partition (p='xxx')
把对应的分区也删除掉就可以了。
如果已经删除了分区目录，也需要执行上以上的命令。
参考
Spark读Hive分区表报错：Caused by: org.apache.hadoop.mapred.InvalidInputException: Input path does not exist相关推荐
- 启动tomcat报错Caused by: org.apache.catalina.LifecycleException: No UserDatabase component
启动tomcat报错 Caused by: org.apache.catalina.LifecycleException: No UserDatabase component 替换conf/tomca ...
- 关于hive异常：Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStor
关于hive异常:Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStor Exception in t ...
- spark读hive没有权限异常Permission denied
sparkSQL读取hive库或表时提示没有权限异常 spark@h1:~$ spark-shell 20/03/08 13:29:35 WARN NativeCodeLoader: Unable t ...
- 创建Hbase Hive外部表报错： Unable to determine ZooKeeper ensemble
创建HBase的Hive外部表 1: create external table ttt(rowkey string,info map<string,string>)STORED BY ' ...
- hive建表报错JsonSerDe
Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. Cannot validate serde: o ...
- hive异常 return code X from org.apache.hadoop.hive.ql.exec.mr.MapredLocalTask 解决
转自:https://www.iteye.com/blog/vase-2090320 不知道是不是hive-0.12版增强了local mode的原因,在之前版本运行好好的Hive-QL在这个版本上错 ...
- 使用hive报 return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask解决方法
1.情况 两表join 其他时间数据正常插入.唯独插入7月1日数据时 , 报错: join 语句 insert overwrite table A partition (log_date= '2021 ...
- 安装好hadoop集群后，报错如下n org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /data/hadoop-roo
master错误: n org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /data/hadoop-root-namen ...
- spark 2.2 读取 Hadoop3.0 数据异常 org.apache.hadoop.hdfs.web.HftpFileSystem cannot access its superinterfa
spark 2.2 读取 Hadoop3.0 数据异常 Exception in thread "main" java.lang.IllegalAccessError: class ...
最新文章
- 论文不公开代码，应该被直接拒稿？
- windows环境下32位汇编语言程序设计 90盘_Python 0基础详细教程 环境安装01
- jQuery之表格变色
- 14.文件系统：高大上的东西——import关键字/模块
- springcloud 错误: 找不到或无法加载主类
- 点击事件为什么会失效_1917年的法蒂玛事件，为什么会被称为最为惊悚的UFO目击事件？...
- Python爬虫之解析网页
- Solaris 下 Oracle impdp 过程中出现的问题
- 工程项目管理需要注意哪些问题
- linux 编译多个文件,linux gcc编译多个源文件的方法
- springBoot引入spring配置文件
- nsis打包php项目加环境,NSIS制作安装文件全攻略（一） zz
- Regex Tester 安装教程
- aspose-cad dwg转pdf dwg转png dwg转svg
- Android apps 拍立知-功能实现（百度tts语音合成使用)
- java web实战宝典李宁,《Java Web编程实战宝典》李宁,刘岩,张国平著【摘要 书评 在线阅读】-苏宁易购图书...
- 41-MybatisPlus
- cdr怎么新建和删除图层
- insert插入语句
- 网上下载别人的vue项目如何运行在本地