Hive查询问题（卡住）

一、现象

几乎全部SQL语句都不能查，卡死在那里，过很久之后可能会报

FAILED: Error in acquiring locks: Error communicating with the metastore

但是查看后台hive的日志，没有任何异常

SQL语句比如：

select 1；show tables；

二、定位原因

1、重启hiveserver2，MetaStore等服务都没有效果

2、考虑是hive元数据的问题

查看hive元数据表的使用情况

show OPEN TABLES where In_use > 0;show full processlist;

发现多个以下语句：

select nl_next from NEXT_LOCK_ID for update

猜测这些表被锁死，导致。

查看数据：

select nl_next from NEXT_LOCK_ID

发现有2条一样的数据

问题可能就在这里；想办法删除一条；

三、解决路径

NEXT_LOCK_ID 始终有锁，无法删除数据。

1、停止hiveserver2，MetaStore 服务；发现还有锁

2、查看hive应用进程 ps -ef|grep hive，全部杀掉，锁释放

3、然后删除NEXT_LOCK_ID一条记录

4、重启hiveserver2，MetaStore

5、查询hive 恢复正常

四、总结

原因可能是多个进程同时操作，导致hive事务上的bug，插进了2条一样的数据，导致元数据库被锁

以下几个hive元数据表跟hive的事务有关：
NEXT_LOCK_ID

next_compaction_queue_id

next_txn_id

以上三个表出问题就有可能会报以下错误： error in acquiring locks: error communicating with the metastore.

hive 卡死的原因很多，这个是其中之一，基本都hive metastore会有一些关系，大家可以按这个方向去定位原因，就能更快速寻找到问题的根源。

Hive查询问题（卡住）相关推荐

2021年大数据Hive（四）：Hive查询语法
全网最详细的Hive文章系列,强烈建议收藏加关注! 后面更新文章都会列出历史文章目录,帮助大家回顾知识重点. 目录系列历史文章前言 hive查询语法一.SELECT语句 1.语句结构 2.全表查 ...
hive快还是mysql快_HBase相对Hive查询速度快的对比
原标题:HBase相对Hive查询速度快的对比首先Hive的底层首先是MR,是属于批处理处理时间相对较长,不属于实时读写.在其架构上HBase和Hive有很大的区别. 架构介绍: Hive架构 –( ...
学习笔记Hive（五） —— Hive应用（3）—— Hive查询
五.Hive查询 5.1.创建职工信息表任务实现: 1.创建表dept,emp和salgrade 2.导入数据将数据emp.txt导入到表emp #emp.txt 7369,SMITH,CLERK ...
apache hive_Hive：使用Apache Hive查询客户最喜欢的搜索查询和产品视图计数
apache hive 这篇文章介绍了如何使用Apache Hive查询Hadoop下存储的搜索点击数据. 我们将以示例的形式生成有关总产品浏览量的客户最爱搜索查询和统计信息. 继续之前的文章使用大 ...
Hive：使用Apache Hive查询客户最喜欢的搜索查询和产品视图计数
这篇文章涵盖了使用Apache Hive查询存储在Hadoop下的搜索点击数据. 我们将以示例的方式生成有关总产品浏览量的客户排名靠前的搜索查询和统计信息. 继续之前的文章使用大数据分析客户产品搜索 ...
如何将hive查询结果导出成txt文件
原文地址:https://zhidao.baidu.com/question/241683835498891364.html ------------------------------------- ...
hadooppythonsql_实例讲解hadoop中的hive查询(python语言实现)
条件,假设配置好了hadoop和hive,并可以正常运行首先,要外部查询hive,你需要安装thrift和fb303,或许有别的办法,但我实际应用过程中看来,这是最简单的途径.hive本身提供了th ...
hive查询where join_Hive解析流程-抽象语法树生成
HiveQL解析流程: Hive根据Antlr定义的词法.语法规则完成词法.语法分析将HQL解析为AST Tree: 遍历AST Tree,抽象出查询的基本组成单元Query Block: 遍历Que ...
【Hive】Hive 查询
文章目录一.环境准备二.Hive 查询 1.普通查询 2.别名查询 3.限定查询 4.多表联合查询 5.多表插入 6.多目录输出文件环境准备 Hadoop 完全分布式(一主两从即可) MySQL ...
Hive查询分析计算：股票分析
Hive查询分析计算案例:股票分析案例需求: 本案例是对单支股票一年中每日交易的数据处理,形成K线分析,重点在于前期数据规整处理与导入导出,从数据仓库方案的设计,涉及Hive优化操作,关系型数据库的 ...

Hive查询问题（卡住）

Hive查询问题（卡住）相关推荐

最新文章

热门文章