Hive hang without response

前些天Hive查询的接口一直超时报警，登录上去查看发现这个超时报警的曲线很有规律，每个小时开始就出现，过了大约3分钟左右就好了.在这个期间里，也发现hive根本就执行不了，完全hang住了，机器负载，HDFS,Jobtracker的负载响应都完全正常！

立刻查看下日志发现几点：

1.对比其他时间的同一个job发现两个时间点的上传job文件到hdfs以及mapreduce的执行时间完全一致，也就是说排除了hdfs,jobtracker的问题

2.出问题时，hive的执行基本阻塞在Initialized ObjectStore部分

那么基本猜想就是MySQL出问题了，查看MySQL的监控日志发现果然每到这个时间点都会出现highsession，找到一个时间点用percona的工具分析了一下slow log发现了最终的元凶：

原来是每个整点都会执行一次backup，但是在backup之前会有一个分析的query也在跑（cron），mysqldump在backup之前会先进行flush table，但是由于那个long running query在导致flush table一直在等待，从而导致后来的所有操作都在waitingfor flushing table.

找到原因就好办了，把备份迁移到从库，另外优化那个long running query,解决.

转载于:https://blog.51cto.com/boylook/1367256

Hive hang without response相关推荐

史上最详细大数据基础知识
# **1___Hive** ## 0.0.hive基本命令 ```sql [1.分区表] --创建分区 alter table table_name add partition(分区字段='分区值' ...
Hive动态分区导致的Jobtracker Hang
昨天下午有20多分钟Hadoop平台无法跑Hive,Jobtracker的页面也打不开,hadoop job –list也hang住没有响应,过了10分钟后恢复了,查看gc日志发现Jobtracker ...
c++排查线程hang住_Kafka学习笔记之kafka高版本Client连接0.9Server引发的血案排查 - 时光飞逝，逝者如斯...
0x00 概述 kafka server虽然原则上是兼容详细的client,但只是高版本的Server端兼容低版本的Client端: 在有高版本Client端连接时,会导致低版本Server集群会ha ...
oracle10g cssd日志,【案例】Oracle CSSD进程HANG导致RAC节点重启原因分析笔记
[案例]Oracle CSSD进程HANG导致RAC节点重启原因分析笔记时间:2016-11-04 19:20 来源:Oracle研究中心作者:HTZ 点击: 次天萃荷净 Oracl ...
[hive学习翻译]Hive - Introduction
术语"大数据"用于大数据集的集合,包括大量,高速度和各种日益增加的数据.使用传统的数据管理系统,很难处理大数据.因此,Apache Software Foundation引入了一个 ...
Hive 1.1.1 启动错误
Hive 下载 [jifeng@feng03~]$ mkdir hive [jifeng@feng03~]$cd hive/ [jifeng@feng03 hive]$ wget http://ap ...
Couldn‘t find grammar element for class javax.ws.rs.core.Response
测试hive on tez,启动顺序如下: 启动hadoop hive --service metastore hiveserver2 starthis yarn timelineserver hiv ...
mysql 迁移到tidb_通过从MySQL迁移到TiDB来水平扩展Hive Metastore数据库
mysql 迁移到tidb Industry: Knowledge Sharing 行业:知识共享 Author: Mengyu Hu (Platform Engineer at Zhihu) 作者: ...
远程访问数据库查询数据量一大就Hang
最近刚为客户升级了一套Oracle Database,一切进展顺利,眼看就要顺利验收时,发现有部分客户端软件连接新版本数据库时会Hang,问题非常诡异. 系统环境如下升级前的环境 OS:Windo ...

Hive hang without response

Hive hang without response相关推荐

最新文章

热门文章