hive 日誌怎麼查看_Hive各个日志里都存放了什么信息？

审计日志

首先，对于审计日志来说，记录了某个时间点某个用户从哪个IP发起对HiveServer或者MetaStore的请求以及记录执行的语句是什么。

如下的HiveServer审计日志，表示在2016-02-01 14:51:22 用户user_chen向HiveServer发起了show tables请求，客户端IP为192.168.1.18。

如下面MetaStore审计日志，表示在2016-01-29 11:31:15 用户hive向MetaStore发起shutdown请求，客户端ip为192.168.1.18。

通常情况下，审计日志对我们定位实际错误信息并无太大帮助。但在遇到诸如下述类问题时，需要查看审计日志：

如客户端发起请求，但是迟迟未得到响应。由于不确定到底是任务是卡在客户端还是服务端，可以通过审计日志查看。如果审计日志根本没有相关信息，那么说明卡死在客户端；如审计日志有相关打印，那么就需要去运行日志里看到底程序卡在哪一步了。

查看指定时间段的任务请求个数。可通过审计日志查看在指定时间段到底有多少个请求。

HiveServer运行日志

简言之，HiveServer负责接收客户端请求(SQL语句)，然后编译、执行(提交到YARN或运行local MR)、与MetaStore交互获取元数据信息等。HiveServer运行日志记录了一个SQL完整的执行过程。

通常情况下，当我们遇到SQL语句运行失败，我们首先要看的就是HiveServer运行日志。

MetaStore运行日志

通常情况下，当我们遇到查看HiveServer运行日志时，如遇到MetaException或者连接MetaStore失败，我们就需要去看MetaStore运行日志了。

GC日志查看

HiveServer和MetaStore均有GC日志，当我们遇到GC问题可以查看GC日志以快速定位是否是GC导致。如，当遇到HiveServer或MetaStore频繁重启就需要去看下对应的GC日志了。

hive 日誌怎麼查看_Hive各个日志里都存放了什么信息？相关推荐

SmartNews：基于 Flink 加速 Hive 日表生产的实践
简介: 将 Flink 无缝地集成到以 Airflow 和 Hive 为主的批处理系统的技术挑战和应对方案. 本文介绍了 SmartNews 利用 Flink 加速 Hive 日表的生产,将 Flin ...
Java爬虫-WebMagic爬取博客图片(好色龍的網路觀察日誌)
WebMagic爬取博客图片最近在学习java爬虫,接触到WebMagic框架,正好拿我喜爱的博客来练习,希望龙哥(博主)不要责备我~~ 博客链接: 好色龍的網路觀察日誌 ,超级有趣的翻译漫画,持续 ...
如何查看yarn container日志查看yarn任务所有container信息 yarn gc日志的查看和简单分析
查看yarn任务日志任务运行中和结束时查看container的日志 GC日志的简单分析文章目录一.shell和yarn基础命令准备二.app日志查看 1. 直接使用yarn logs,可选择指 ...
查看linux的计划任务日志,查看计划任务日志(共5篇).docx
查看计划任务日志(共5篇) 沈阳工程学院学生实验报告实验室名称:信息学院网络安全实验室实验课程名称:网络安全技术实验项目名称:实验六日志查看与清除实验班级:姓名:学号: 实验日期:XX年4月 ...
adb 查看指定APP日志
前面大概学习了adb基础,但是adb的存在,在测试人员中究竟有什么必要,以及看log时,那么多的log,让我们看个屁啊,所以这一次,我决定一定要把adb这件事情搞清楚. 1.先来看最感兴趣的adb日志 ...
mysql查看数据库的日志文件_怎么查看mysql数据库的日志文件
2017-10-16 回答一.错误日志错误日志在mysql数据库中很重要,它记录着mysqld启动和停止,以及服务器在运行过程中发生的任何错误的相关信息. 1.配置信息 --log-error=[ ...
我能查看Instagram 所有用户的私人邮件和生日信息
聚焦源代码安全,网罗国内外最新资讯! 尼泊尔研究员 Saugat Pokharel 公开了自己近期发现的一个 Instagram 漏洞的详情.如下是正文: 10月22日,正当我查看一些安全/隐私问题 ...
linux 查看定时任务 crontab 日志记录
在Unix和类Unix的操作系统之中,crontab命令常用于设置周期性被执行的指令,也可以理解为设置定时任务. crontab中的定时任务有时候没有成功执行,什么原因呢?这时就需要去日志里去分析一下 ...
docker logs 查看docker容器日志
命令格式 $ docker logs [OPTIONS] CONTAINEROptions:--details 显示更多的信息-f, --follow 跟踪实时日志--since string 显示自 ...

hive 日誌怎麼查看_Hive各个日志里都存放了什么信息？

hive 日誌怎麼查看_Hive各个日志里都存放了什么信息？相关推荐

最新文章

热门文章