写在最前：为什么做日志收集系统❓

首先，什么是日志？日志就是程序产生的，遵循一定格式（通常包含时间戳）的文本数据。

通常日志由服务器生成，输出到不同的文件中，一般会有系统日志、应用日志、安全日志。这些日志分散地存储在不同的机器上。

当系统发生故障时，工程师就需要登录到各个服务器上，使用 grep / sed / awk 等 Linux 脚本工具去日志里查找故障原因。在没有日志系统的情况下，首先需要定位处理请求的服务器，如果这台服务器部署了多个实例，则需要去每个应用实例的日志目录下去找日志文件。每个应用实例还会设置日志滚动策略（如：每天生成一个文件或日志文件达到某给定大小后生成一个文件），还有日志压缩归档策略等。

这样一系列流程下来，对于我们排查故障以及及时找到故障原因，造成了比较大的麻烦。因此，如果我们能把这些日志集中管理，并提供集中检索功能，不仅可以提供高诊断效率，同时对系统情况有个全面的理解，避免事后救火的被动。

个人认为，日志数据在以下几个方面具有非常重要的作用：

数据查找：通过检索日志信息，定位相应的 bug，找出解决方案；
服务诊断：通过对日志信息进行统计、分析，了解服务器的负荷和服务运行状态；
数据分析：可以做进一步的数据分析。

一、多种日志收集工具比较

1、背景介绍

许多公司的平台每天会产生大量的日志（一般为流式数据，如搜索引擎 pv、uv，查询等），处理这些日志需要特定的日至系统，一般而言，这些系统需要具备以下特征：

构建应用系统和分析系统的桥梁，并将它们之间的关联解耦合；
支持近时时的在线分析系统和类似于 Hadoop 之类的离线分析系统；
具有高可扩展性。即：当数据量增加时，可以通过增加节点进行水平扩展。

分布式日志收集工具分析比较相关推荐

大数据运维实战第十七课日志收集、分析过滤工具 Logstash应用实战
本课时主要讲解"日志收集.分析过滤工具 Logstash 应用实战". Logstash 介绍与安装 Logstash 是一款轻量级的.开源的日志收集处理框架,它可以方便地把分散的 ...
便捷的日志收集和分析工具TFA
转自https://blogs.oracle.com/database4cn/tfa 1. 便捷的日志收集和分析工具Trace File Analyzer 客户在和技术支持的工程师解决GI(RAC)问 ...
RAC日志收集和分析工具TFA
TFA是在11.2版本上推出的用来收集Grid Infrastructure/RAC环境下的诊断日志的工具,它可以用非常简单的命令协助用户收集RAC里的日志,下面从几个方面介绍: 1. 便捷的日志收集 ...
分布式日志收集系统Apache Flume的设计详细介绍
问题导读: 1.Flume传输的数据的基本单位是是什么? 2.Event是什么,流向是怎么样的? 3.Source:完成对日志数据的收集,分成什么打入Channel中? 4.Channel的作用是什么 ...
ELK分布式日志收集搭建和使用
大型系统分布式日志采集系统ELK 全框架 SpringBootSecurity 1.传统系统日志收集的问题 2.Logstash操作工作原理 3.分布式日志收集ELK原理 4.Elasticsearc ...
Scribe日志收集工具
Scribe日志收集工具概述 Scribe是facebook开源的日志收集系统,在facebook内部已经得到大量的应用.它能够从各种日志源上收集日志,存储到一个中央存储系统(可以是NFS,分布式文 ...
使用ELK搭建日志收集和分析系统
搭建日志收集和分析系统需要以下步骤: 安装Java运行环境 ELK是基于Java开发的,因此需要在服务器上安装Java运行环境安装Elasticsearch Elasticsearch是ELK的核心 ...
一起来解读分布式日志收集系统：Facebook Scribe
1.分布式日志收集系统:背景介绍许多公司的平台每天会产生大量的日志(一般为流式数据,如,搜索引擎的pv,查询等),处理这些日志需要特定的日志系统,一般而言,这些系统需要具有以下特征: (1) 构建应 ...
分布式日志收集系统：Facebook Scribe
转载于博主新浪微博:http://weibo.com/freshairbrucewoo. 欢迎大家相互交流,共同提高技术. 以下是我在公司内部分享的关于分布式日志收集系统的PPT内容,现在与大家分享, ...

分布式日志收集工具分析比较

写在最前：为什么做日志收集系统❓

一、多种日志收集工具比较

1、背景介绍

分布式日志收集工具分析比较相关推荐

最新文章

热门文章