ELK技术栈—Logstash

原文作者：

原文地址：

1、概述

官网介绍：Logstash is an open source data collection engine with real-time pipelining capabilities。简单来说logstash就是一根具备实时数据传输能力的管道，负责将数据信息从管道的输入端传输到管道的输出端；与此同时这根管道还可以让你根据自己的需求在中间加上滤网，Logstash提供里很多功能强大的滤网以满足你的各种应用场景。Logstash常用于日志关系系统中做日志采集设备，最常用于ELK（elasticsearch + logstash + kibane）中作为日志收集器使用；

从 Logstash 的名字就能看出，它主要负责跟日志相关的各类操作，在此之前，我们先来看看日志管理的三个境界吧

境界一『昨夜西风凋碧树。独上高楼，望尽天涯路』，在各台服务器上用传统的 linux 工具（如 cat, tail, sed, awk, grep 等）对日志进行简单的分析和处理，基本上可以认为是命令级别的操作，成本很低，速度很快，但难以复用，也只能完成基本的操作。
境界二『衣带渐宽终不悔，为伊消得人憔悴』，服务器多了之后，分散管理的成本变得越来越多，所以会利用 rsyslog 这样的工具，把各台机器上的日志汇总到某一台指定的服务器上，进行集中化管理。这样带来的问题是日志量剧增，小作坊式的管理基本难以满足需求。
境界三『众里寻他千百度，蓦然回首，那人却在灯火阑珊处』，随着日志量的增大，我们从日志中获取去所需信息，并找到各类关联事件的难度会逐渐加大，这个时候，就是 Logstash 登场的时候了

Logstash 的主要优势：一个是在支持各类插件的前提下提供统一的管道进行日志处理（就是 input-filter-output 这一套），二个是灵活且性能不错。

在几分钟内建立数据流管道
具有水平可扩展及韧性且具有自适应缓冲
不可知的数据源
具有200多个集成和处理器的插件生态系统
使用 Elastic Stack 监视和管理部署

2、数据类别：

它可以摄入日志、文件、指标或者网路真实数据。经过 Logstash 的处理，变为可以使用的 Web Apps 可以消耗的数据，也可以存储于数据中心，或变为其它的流式数据。

最流行的数据源如下：

Logstash 可以很方便地和Beats一起合作，这也是被推荐的方法
Logstash 也可以和那些著名的云厂商的服务一起合作处理它们的数据
它也可以和最为同样的信息消息队列，比如 redis 或 kafka 一起协作
Logstash 也可以使用 JDBC 来访问 RDMS 数据
它也可以和 IoT 设备一起处理它们的数据
Logstash 不仅仅可以把数据传送到 Elasticsearch，而且它还可以把数据发送至很多其它的目的地，并作为它们的输入源做进一步的

3、架构

Logstash 是由 JRuby 编写的，使用基于消息的简单架构，在 JVM 上运行。理念非常简单，如果说 MapReduce 框架分为 Mapper 和 Reducer 两大模块，处理流水线有三个主要角色完成：inputs –> filters –> outputs：

Collect: 数据输入。对应 input ，必须有，负责产生事件（Inputs generate events），常用：File、syslog、redis、beats（如：Filebeats）
Enrich: 数据处理。对应 filter ，可选，负责数据处理与转换（filters modify them），常用：grok、mutate、drop、clone、geoip
Transport: 数据输出。对应 output，必须，负责数据输出（outputs ship them elsewhere），常用：elasticsearch、file、graphite、statsd

虽然模块仅仅比 MapReduce 框架多了一个，但是无三不成几，通过不同的拓扑结构，可以完成各类数据处理应用。不过这里我们主要还是以日志汇总处理系统的思路来进行介绍，一个典型的架构为：

4、安装

1）下载上传

首先下载logstash，上传到服务器，下载地址：https://www.elastic.co/guide/en/logstash/current/index.htmllogstash是用JRuby语言开发的，所以要安装JDK

2）解压

tar -zxvf logstash-2.3.1.tar.gz -C /bigdata/

3）编辑配置文件

vi logstash.conf

input {file {type => "gamelog"path => "/log/*/*.log"discover_interval => 10start_position => "beginning" }
}output {elasticsearch {index => "gamelog-%{+YYYY.MM.dd}"hosts => ["172.16.0.14:9200", "172.16.0.15:9200", "172.16.0.16:9200"]}
}

4）启动logstack

bin/logstash -f logstash.conf