使用 Apache Hadoop 处理日志

这篇文章来自DeveloperWorks。

内容提要：

日志是任何计算系统中一个必不可少的部分，支持从审计到错误管理等功能。随着日志的发展和日志来源数量的不断增加（比如在云环境中），有必要提供一个可扩展的系统来高效处理日志。这篇实践将探讨如何在典型 Linux 系统上使用 Apache Hadoop 来处理日志。

日志形态千差万别，但随着应用程序和基础架构的发展，结果产生了大量对用户有用的分布式数据。从 Web 和邮件服务器到内核和引导日志，许多现代的服务器拥有丰富的信息集。大量的分布式数据是 Apache Hadoop 的完美应用，就像日志文件（按时间排序的结构化文本数据）一样。

您可以使用日志处理来提取各种信息。其中最常用的一种用法是提取错误，或是对某个系统中的一些事件（比如登录失败）的发生次数进行计数。您还可以提取某些类型的性能数据，比如每秒连接数或每秒处理的事务数。其他有用的信息包括 Web 日志中的站点访问量（减少）的提取（映射）和构造。这一分析除了支持检测文件访问统计之外，还支持对惟一用户访问的检测。

转载于:https://blog.51cto.com/yepeng/945041

使用 Apache Hadoop 处理日志相关推荐

org.apache.hadoop.hdfs.server.datanode.DataNode: Exception in receiveBlock for block
Hbase依赖的datanode日志中如果出现如下报错信息:DataXceiverjava.io.EOFException: INFO org.apache.hadoop.hdfs.server.da ...
深入剖析HADOOP程序日志
参考:http://www.cnblogs.com/gpcuster/archive/2009/08/21/1551715.html 前提本文来自于博客园逖靖寒的世界 http://gpcust ...
hive遇到FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask错误...
hive遇到FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask错误起因 ...
Hadoop平台日志结构
1.Hadoop集群部署 Hadoop集群: Master:10.18.18.1 Slave1:10.18.18.100 Slave2:10.18.18.101 可互相通信.可连外网,操作系统均为: ...
INFO org.apache.hadoop.ipc.RPC: Server at master/192.168.200.128:9000 not available yet, Zzzzz...
hadoop 启动时namenode和datanode可以启动,使用jps命令也可以看到进程,但是在浏览器中输入master:50070却没有显示datanode. 查看datanode的log日志: ...
Apache Hadoop 简单配置及实践
http://archboy.org/2011/08/19/simple-apache-hadoop-setup-application-1/ Apache Hadoop 是一个分布式计算基础框架,通 ...
用 Linux 和 Apache Hadoop 进行云计算
http://www.ibm.com/developerworks/cn/aix/library/au-cloud_apache/ 云计算简介近来云计算越来越热门了,云计算已经被看作 IT 业的新趋 ...
Apache Hadoop 3.0.0 GA版正式发布，可以部署到线上
今天凌晨 Apache Hadoop 3.0.0 GA 版本正式发布,这意味着我们就可以正式在线上使用 Hadoop 3.0.0 了!这个版本是 Apache Hadoop 3.0.0 的第一个稳定版 ...
ERROR: org.apache.hadoop.hbase.MasterNotRunningException: Retried 7 times
今天在配置好hbase分布环境后,进行shell操作,在创建表时出现了如下错误: ERROR: org.apache.hadoop.hbase.MasterNotRunningException: R ...

使用 Apache Hadoop 处理日志

使用 Apache Hadoop 处理日志相关推荐

最新文章

热门文章