hadoop学习--基于Hive的Hadoop日志分析

本文将本地的hadoop日志，加载到Hive数据仓库中，再过滤日志中有用的日志信息转存到Mysql数据库里。

环境：hive-0.12.0 + Hadoop1.2.1

1、日志格式

2014-04-17 22:53:30,621 INFO org.apache.hadoop.hdfs.StateChange: BLOCK* addToInvalidates: blk_4856124673669777083 to 127.0.0.1:50010
2014-04-17 22:53:30,621 INFO org.apache.hadoop.hdfs.StateChange: BLOCK* addToInvalidates: blk_3952951948255939678 to 127.0.0.1:50010
2014-04-17 22:53:30,629 INFO org.apache.hadoop.hdfs.StateChange: BLOCK* addToInvalidates: blk_-7659295115271387204 to 127.0.0.1:50010
2014-04-17 22:53:30,713 INFO org.apache.hadoop.hdfs.StateChange: BLOCK* addToInvalidates: blk_1247712269990837159 to 127.0.0.1:50010
2014-04-17 22:53:30,713 INFO org.apache.hadoop.hdfs.StateChange

hadoop学习--基于Hive的Hadoop日志分析相关推荐

基于awk的nginx日志分析
基于awk的nginx日志分析基于awk的nginx日志分析定义 nginx日志 awk分析示例基于awk的nginx日志分析在系统调优的时候,经常要去分析nginx的请求日志,统计.分析各个 ...
腾讯技术课|基于Elastic Stack 搭建日志分析平台
为了让读者们可以更好的理解「如何基于Elastic Stack 搭建日志分析平台」,腾讯技术工程公众号特别邀请腾讯基础架构部的陈曦工程师通过语音录播分享的方式在「腾讯技术课」小程序里同步录制了语音+P ...
一脸懵逼学习基于CentOs的Hadoop集群安装与配置（三台机器跑集群）
1:Hadoop分布式计算平台是由Apache软件基金会开发的一个开源分布式计算平台.以Hadoop分布式文件系统(HDFS)和MapReduce(Google MapReduce的开源实现)为核心的 ...
Hadoop实战: 论坛点击流日志分析
简介网站点击流日志数据,比如,点击了哪一个链接,在哪个网页停留时间最多,采用了哪个搜索项.总体浏览时间等.而所有这些信息都可被保存在网站日志中.通过分析这些数据,可以获知许多对网站运营至关重要的信息 ...
Hadoop学习（1）--Hadoop介绍
1. Hadoop的简单介绍 1.1 狭义 Hadoop指的是Apache软件基金会的一款开源软件,允许用户使用简单的编程模型实现跨机器集群对海量数据进行分布式计算处理. Hadoop核心组件 Had ...
干货实战|基于Elastic Stack的日志分析系统
Elastic Stack简介 Elastic Stack是Elastic公司旗下的一系列软件总称,包括Elasticsearch.Logstash.Kibana和Beats.Elasticsearc ...
基于PySpark的航天日志分析(SQL分析)
文章目录 1.导入PySpark包 2.创建SparkSession实例对象 3.读取数据(Schema()信息) 读取数据方法1 读取数据方法2 4.查看DataFrame数据信息(显示完整[列名] ...
Hadoop学习第一章：Hadoop概述
一.Hadoop的产生背景关于Hadoop的产生背景来源于Nutch,Nutch 的设计目标是构建一个大型的全网搜索引擎,包括网页抓取.索引.查询等功能,然而随着抓取网页数据的增加,数据的搜索和储存 ...
基于Flink的实时日志分析系统实践
前言目前业界基于 Hadoop 技术栈的底层计算平台越发稳定成熟,计算能力不再成为主要瓶颈. 多样化的数据.复杂的业务分析需求.系统稳定性.数据可靠性, 这些软性要求, 逐渐成为日志分析系统面对的主 ...

hadoop学习--基于Hive的Hadoop日志分析

hadoop学习--基于Hive的Hadoop日志分析相关推荐

最新文章

热门文章