搭建ELK(ElasticSearch+Logstash+Kibana)日志分析系统（二） Logstash简介及常见配置语法

Logstash通常被分为shipper和indexer两种角色，其中shipper负责收集转发日志至redis，而indexer负责将redis传送过来的日志输出到elasticSearch，如下图（图片来自网络，如有侵权，可联系我删除）

1、数据定义与类型

1）Logstash用 {} 来定义区域，用字段名=>字段内容来定义变量，变量都是以键值对的形式体现的，例如

filter{
mutate{
add_field{
debug=>true ##bool类型
ip=>"192.168.1.1" ##string类型
port=>5602 ##number类型
}
}
}

2）Logstash支持少量的数据值类型

debug=>true ##bool类型
ip=>"192.168.1.1" ##string类型
port=>5602 ##number类型
match => ["windows", "linux", "mac"] ##array类型
##hash类型
options => {
today=>"Monday",
tommrow=>"Tuesday"
}

2、字段引用于条件判断

1）在logstash中引用一个字段，只需在[]里写上字段名即可，如

if [port] == 5602 {
##...
}

2)条件判断

==(等于), !=(不等于), <(小于), >(大于), <=(小于等于), >=(大于等于)
=~(匹配正则), !~（不匹配正则）
in(包含), not in(不包含)
and(与), or(或), nand(非与), xor(非或)
()(复合表达式), !()(对复合表达式结果取反)

例如，我们经常会用到的一个判断：

if "_grokparsefailure" not in [tags] {
elasticsearch{
##...
}
}

3、常见命令行参数

1）-e 即立即执行，这个在上一节已经介绍过了

bin/logstash -e ''

2) --config 或者 -f 即使用配置文件。在实际运用中，我们可能会写很大的配置，所以我们一般把它写在conf文件里，然后通过-f指定配置文件来运行，如

bin/logstash -f test.conf

3) --log 或者 -l 指定日志文件（logstash运行的日志）的位置，如

bin/logstash -l logs/logstash.log

4) --pipline-workers 或者 -W ，指定运行filter和output的线程数量。默认是CPU核数

还有其他一些不常见的这里就没有列举了。并且从Logstash 5.0开始，所有的命令行参数文件都可以在Logstash文件夹/config/logsatsh.yml文件里配置了。

搭建ELK(ElasticSearch+Logstash+Kibana)日志分析系统（二） Logstash简介及常见配置语法相关推荐

快速搭建ELK7.5版本的日志分析系统--搭建篇
一.ELK安装部署官网地址:https://www.elastic.co/cn/ 官网权威指南:https://www.elastic.co/guide/cn/elasticsearch/guide ...
ELK+Kafka集群日志分析系统
因为是自己本地写好的word文档复制进来的.格式有些出入还望体谅.如有错误请回复.谢谢! 一. 系统介绍 2 二. 版本说明 3 三. 服务部署 3 1) JDK部署 3 2) Elasticsear ...
EFK(Elasticsearch+Filebeat+Kibana)日志收集系统
EFK简介 Elasticsearch 是一个实时的.分布式的可扩展的搜索引擎,允许进行全文.结构化搜索,它通常用于索引和搜索大量日志数据,也可用于搜索许多不同类型的文档. Beats 是数据采集的得 ...
ELK日志分析平台(二)----logstash数据采集
logstash数据采集 1. logstash 1.1logstash介绍 1.2logstash的力量 2. Logstash的安装与配置(一台新的虚拟机) 2.1软件的下载和安装 2.1.1软件 ...
超详细 ELK 日志分析系统
文章目录一.ELK日志分析系统简介 1:ELK日志分析系统组成 2:日志处理步骤二:三款软件简介 1:Elasticsearch (1)Elasticsearch的概述 (2)Elasticsea ...
ELK企业级日志分析系统部署
ELK企业级日志分析系统部署文章目录 ELK企业级日志分析系统部署 1.什么是ELK日志分析系统 2.ELK日志分析系统诞生的原因 3.ELK日志分析系统的核心开源工具 3.1Logstash解析 ...
elasticsearch date_Elasticsearch在日志分析领域应用和运维实践
主要讲述了: 基于ELK + Kafka 的日志分析系统 Elasticsearch 优化经验 Elasticsearch 运维实践 ElasticSearch介绍分布式实时分析搜索引擎,优点包括: ...
企业级日志分析系统ELK（Elasticsearch , Logstash, Kibana）
企业级日志分析系统ELK(Elasticsearch , Logstash, Kibana) 前言一.ELK概述 1.ELK日志分析系统 2.ELK日志处理特点 3.Elasticsearch概述 ...
小白玩大数据日志分析系统经典入门实操篇FileBeat+ElasticSearch+Kibana 实时日志系统搭建从入门到放弃
大数据实时日志系统搭建距离全链路跟踪分析系统第二个迭代已经有一小阵子了,由于在项目中主要在写ES查询\Storm Bolt逻辑,都没有去搭建实时日志分析系统,全链路跟踪分析系统采用的开源产品组合为F ...