select报错 spark_使用spark-sql报错 “Metastore contains multiple versions”

1、背景：

进入spark集群，cd/spark,执bin/spark-sql,报错

image.png

2、解决方法

2.1、是hive元数据的问题，进入spark/conf/hive-site.xml，找到mysql的配置信息

2.2、进入mysql,切换到hive所使用的DB

2.3、 select * from VERSION;

image.png

2.4、保留第一条记录，其他记录全部删除

delete from VERSION where VER_ID != 1;

3、问题原因

异常是因为在启动hive命令时会检查hive源数据中有一张VERSION表，如果元数据版本信息获取不到(原因可能是元数据库异常||网络异常||短期内作业量较多操作都会造成查询不到版本信息)，这种情况下会判断hive.metastore.schema.verification属性是true还是false，为true时直接抛出MetaException，为false时打出warn警告然后插入一条version数据(这种情况下会造成多条version记录后面的作业会受影响)

4、彻底解决

4.1、hive安装好后将hive-site.xml中hive.metastore.schema.verification设置为true，version获取不到时报出异常，不去插入version信息，这样本作业执行失败不会影响下游作业；

4.2开启metastore服务，hive统一连接metastore，由守护进程启动metastore，避免大量hive脚本初始化元数据信息时获取不到版本信息；

4.3、优化hive元数据库；

select报错 spark_使用spark-sql报错 “Metastore contains multiple versions”相关推荐

hive metastore日志中报错message:Metastore contains multiple versions
hive metastore日志中报错: Exception in thread "main" java.lang.RuntimeException: java.lang.Runt ...
Spark-submit 提交报错 org.apache.spark.sql.execution.datasources.orc.OrcFileFormat could not be instant
错误场景如下代码: spark.sql("select e.empno,e.ename,e.job,e.mgr,e.comm from emp e join dept d on e.dep ...
字节跳动在 Spark SQL 上的核心优化实践
作者 | 郭俊封图 | BanburyTang 字节跳动数据仓库架构团队负责数据仓库领域架构设计,支持字节跳动几乎所有产品线(包含但不限于抖音.今日头条.西瓜视频.火山视频)数据仓库方向的需求,如 ...
「Spark从入门到精通系列」4.Spark SQL和DataFrames：内置数据源简介
来源 | Learning Spark Lightning-Fast Data Analytics,Second Edition 作者 | Damji,et al. 翻译 | 吴邪大数据4年从业经 ...
Spark SQL 在字节跳动的核心优化实践
10月26日,字节跳动技术沙龙 | 大数据架构专场在上海字节跳动总部圆满结束.我们邀请到字节跳动数据仓库架构负责人郭俊,Kyligence 大数据研发工程师陶加涛,字节跳动存储工程师徐明敏,阿里云高 ...
字节跳动在Spark SQL上的核心优化实践
字节跳动在Spark SQL上的核心优化实践大数据架构今天以下文章来源于字节跳动技术团队 ,作者郭俊字节跳动技术团队字节跳动的技术实践分享 10月26日,字节跳动技术沙龙 | 大数据架构专场 ...
上海沙龙回顾 | 字节跳动在Spark SQL上的核心优化实践
10月26日,字节跳动技术沙龙 | 大数据架构专场在上海字节跳动总部圆满结束.我们邀请到字节跳动数据仓库架构负责人郭俊,Kyligence 大数据研发工程师陶加涛,字节跳动存储工程师徐明敏,阿里云高 ...
spark(day06-spark算法、Spark Sql)
案例处理u.data文件用户id 电影id 用户打分要求基于u.data文件,建立推荐系统模型,为789号用户推荐10部电影建模时,k的取值10~50之间,迭代次数:5~20次之间 λ:0.01~0 ...
Spark SQL Guide——Data Sources
文章目录 Parquet Files Partition Discovery(解析分区信息) Schema Merging(模式归并) Hive metastore Parquet table con ...

select报错 spark_使用spark-sql报错 “Metastore contains multiple versions”

select报错 spark_使用spark-sql报错 “Metastore contains multiple versions”相关推荐

最新文章

热门文章