Logstash 基础入门
原文地址:Logstash 基础入门
博客地址:http://www.extlight.com
一、前言
Logstash 是一个开源的数据收集引擎,它具有备实时数据传输能力。它可以统一过滤来自不同源的数据,并按照开发者的制定的规范输出到目的地。
顾名思义,Logstash 收集数据对象就是日志文件。由于日志文件来源多(如:系统日志、服务器 日志等),且内容杂乱,不便于人类进行观察。因此,我们可以使用 Logstash 对日志文件进行收集和统一过滤,变成可读性高的内容,方便开发者或运维人员观察,从而有效的分析系统/项目运行的性能,做好监控和预警的准备工作等。
二、安装
Logstash 依赖 JDK1.8 ,因此在安装之前请确保机器已经安装和配置好 JDK1.8。
Logstash 下载
- tar -zxvf logstash-5.6.3.tar.gz -C /usr
- cd logstash-5.6.3
三、组成结构
Logstash 通过管道进行运作,管道有两个必需的元素,输入和输出,还有一个可选的元素,过滤器。
输入插件从数据源获取数据,过滤器插件根据用户指定的数据格式修改数据,输出插件则将数据写入到目的地。如下图:
我们先来一个简单的案例:
- bin/logstash -e 'input { stdin { } } output { stdout {} }'
启动 Logstash 后,再键入 Hello World,结果如下:
- [root@localhost logstash-5.6.3]# bin/logstash -e 'input { stdin { } } output { stdout {} }'
- Sending Logstash's logs to /usr/logstash-5.6.3/logs which is now configured via log4j2.properties
- [2017-10-27T00:17:43,438][INFO ][logstash.modules.scaffold] Initializing module {:module_name=>"fb_apache", :directory=>"/usr/logstash-5.6.3/modules/fb_apache/configuration"}
- [2017-10-27T00:17:43,440][INFO ][logstash.modules.scaffold] Initializing module {:module_name=>"netflow", :directory=>"/usr/logstash-5.6.3/modules/netflow/configuration"}
- [2017-10-27T00:17:43,701][INFO ][logstash.pipeline ] Starting pipeline {"id"=>"main", "pipeline.workers"=>1, "pipeline.batch.size"=>125, "pipeline.batch.delay"=>5, "pipeline.max_inflight"=>125}
- [2017-10-27T00:17:43,744][INFO ][logstash.pipeline ] Pipeline main started
- The stdin plugin is now waiting for input:
- [2017-10-27T00:17:43,805][INFO ][logstash.agent ] Successfully started Logstash API endpoint {:port=>9600}
- Hello World
- 2017-10-27T07:17:51.034Z localhost.localdomain Hello World
Hello World(输入)经过 Logstash 管道(过滤)变成:2017-10-27T07:17:51.034Z localhost.localdomain Hello World (输出)。
在生产环境中,Logstash 的管道要复杂很多,可能需要配置多个输入、过滤器和输出插件。
因此,需要一个配置文件管理输入、过滤器和输出相关的配置。配置文件内容格式如下:
- # 输入
- input {
- ...
- }
- # 过滤器
- filter {
- ...
- }
- # 输出
- output {
- ...
- }
根据自己的需求在对应的位置配置 输入插件、过滤器插件、输出插件 和 编码解码插件 即可。
四、插件用法
在使用插件之前,我们先了解一个概念:事件。
Logstash 每读取一次数据的行为叫做事件。
在 Logstach 目录中创建一个配置文件,名为 logstash.conf(名字任意)。
4.1 输入插件
输入插件允许一个特定的事件源可以读取到 Logstash 管道中,配置在 input {} 中,且可以设置多个。
修改配置文件:
- input {
- # 从文件读取日志信息
- file {
- path => "/var/log/messages"
- type => "system"
- start_position => "beginning"
- }
- }
- # filter {
- #
- # }
- output {
- # 标准输出
- stdout { codec => rubydebug }
- }
其中,messages 为系统日志。
保存文件。键入:
- bin/logstash -f logstash.conf
在控制台结果如下:
- {
- "@version" => "1",
- "host" => "localhost.localdomain",
- "path" => "/var/log/messages",
- "@timestamp" => 2017-10-29T07:30:02.601Z,
- "message" => "Oct 29 00:30:01 localhost systemd: Starting Session 16 of user root.",
- "type" => "system"
- }
- ......
4.2 输出插件
输出插件将事件数据发送到特定的目的地,配置在 output {} 中,且可以设置多个。
修改配置文件:
- input {
- # 从文件读取日志信息
- file {
- path => "/var/log/error.log"
- type => "error"
- start_position => "beginning"
- }
- }
- # filter {
- #
- # }
- output {
- # 输出到 elasticsearch
- elasticsearch {
- hosts => ["192.168.2.41:9200"]
- index => "error-%{+YYYY.MM.dd}"
- }
- }
其中,error.log 的内容格式如下:
- 2017-08-04 13:57:30.378 [http-nio-8080-exec-1] ERROR c.g.a.global.ResponseResultAdvice -设备数据为空
- com.light.pay.common.exceptions.ValidationException: 设备数据为空
- at com.light.pay.common.validate.Check.isTrue(Check.java:31)
- at com.light.attendance.controllers.cloudApi.DevicePushController.deviceInfoPush(DevicePushController.java:44)
- at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
- at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
- at org.apache.tomcat.util.threads.TaskThread$WrappingRunnable.run(TaskThread.java:61)
- at java.lang.Thread.run(Thread.java:745)
- 2017-08-04 13:57:44.495 [http-nio-8080-exec-2] ERROR c.g.a.global.ResponseResultAdvice -Failed to invoke remote method: pushData, provider: dubbo://192.168.2.100:20880/com.light.attendance.api.DevicePushApi?application=salary-custom&default.check=false&default.timeout=30000&dubbo=2.8.4&interface=com.light.attendance.api.DevicePushApi&methods=getAllDevices,getDeviceById,pushData&organization=com.light.attendance&ow
- ......
配置文件中使用 elasticsearch 输出插件。输出的日志信息将被保存到 Elasticsearch 中,索引名称为 index 参数设置的格式。
如果读者不了解 Elasticsearch 基础内容,可以查看本站 《Elasticsearch 基础入门》 文章或自行百度进行知识的补缺。
保存文件。键入:
- bin/logstash -f logstash.conf
打开浏览器访问 http://192.168.2.41:9100 使用 head 插件查看 Elasticsearch 数据,结果如下图:
踩坑提醒:
file 输入插件默认使用 “\n” 判断日志中每行的边界位置。error.log 是笔者自己编辑的错误日志,之前由于在复制粘贴日志内容时,忘记在内容末尾换行,导致日志数据始终无法导入到 Elasticsearch 中。 在此,提醒各位读者这个关键点。
4.3 编码解码插件
编码解码插件本质是一种流过滤器,配合输入插件或输出插件使用。
从上图中,我们发现一个问题:Java 异常日志被拆分成单行事件记录到 Elasticsearch 中,这不符合开发者或运维人员的查看习惯。因此,我们需要对日志信息进行编码将多行事件转成单行事件记录起来。
我们需要配置 Multiline codec 插件,这个插件可以将多行日志信息合并成一行,作为一个事件处理。
Logstash 默认没有安装该插件,需要开发者自行安装。键入:
- bin/logstash-plugin install logstash-codec-multiline
修改配置文件:
- input {
- # 从文件读取日志信息
- file {
- path => "/var/log/error.log"
- type => "error"
- start_position => "beginning"
- # 使用 multiline 插件
- codec => multiline {
- # 通过正则表达式匹配,具体配置根据自身实际情况而定
- pattern => "^\d"
- negate => true
- what => "previous"
- }
- }
- }
- # filter {
- #
- # }
- output {
- # 输出到 elasticsearch
- elasticsearch {
- hosts => ["192.168.2.41:9200"]
- index => "error-%{+YYYY.MM.dd}"
- }
- }
保存文件。键入:
- bin/logstash -f logstash.conf
使用 head 插件查看 Elasticsearch 数据,结果如下图:
4.4 过滤器插件
过滤器插件位于 Logstash 管道的中间位置,对事件执行过滤处理,配置在 filter {},且可以配置多个。
本次测试使用 grok 插件演示,grok 插件用于过滤杂乱的内容,将其结构化,增加可读性。
安装:
- bin/logstash-plugin install logstash-filter-grok
修改配置文件:
- input {
- stdin {}
- }
- filter {
- grok {
- match => { "message" => "%{IP:client} %{WORD:method} %{URIPATHPARAM:request} %{NUMBER:bytes} %{NUMBER
- :duration}" }
- }
- }
- output {
- stdout {
- codec => "rubydebug"
- }
- }
保存文件。键入:
- bin/logstash -f logstash.conf
启动成功后,我们输入:
- 55.3.244.1 GET /index.html 15824 0.043
控制台返回:
- [root@localhost logstash-5.6.3]# bin/logstash -f logstash.conf
- Sending Logstash's logs to /root/logstash-5.6.3/logs which is now configured via log4j2.properties
- [2017-10-30T08:23:20,456][INFO ][logstash.modules.scaffold] Initializing module {:module_name=>"fb_apache", :directory=>"/root/logstash-5.6.3/modules/fb_apache/configuration"}
- [2017-10-30T08:23:20,459][INFO ][logstash.modules.scaffold] Initializing module {:module_name=>"netflow", :directory=>"/root/logstash-5.6.3/modules/netflow/configuration"}
- [2017-10-30T08:23:21,447][INFO ][logstash.pipeline ] Starting pipeline {"id"=>"main", "pipeline.workers"=>1, "pipeline.batch.size"=>125, "pipeline.batch.delay"=>5, "pipeline.max_inflight"=>125}
- The stdin plugin is now waiting for input:
- [2017-10-30T08:23:21,516][INFO ][logstash.pipeline ] Pipeline main started
- [2017-10-30T08:23:21,573][INFO ][logstash.agent ] Successfully started Logstash API endpoint {:port=>9600}
- 55.3.244.1 GET /index.html 15824 0.043
- {
- "duration" => "0.043",
- "request" => "/index.html",
- "@timestamp" => 2017-10-30T15:23:23.912Z,
- "method" => "GET",
- "bytes" => "15824",
- "@version" => "1",
- "host" => "localhost.localdomain",
- "client" => "55.3.244.1",
- "message" => "55.3.244.1 GET /index.html 15824 0.043"
- }
输入的内容被匹配到相应的名字中。
五、参考资料
- https://www.elastic.co/guide/en/logstash/current/index.html 官方文档
- 转自 https://www.cnblogs.com/moonlightL/p/7760512.html
转载于:https://www.cnblogs.com/xd502djj/p/9244213.html
Logstash 基础入门相关推荐
- 零基础入门│带你理解Kubernetes
条分缕析带你充分理解Kubernetes的各个细节与部分:它是什么,它如何解决 容器编排问题,它包含哪些你必须掌握的关键对象,以及如何快速上手部署使用Kubernetes. 容器的好处不胜枚举:一致的 ...
- 用python循环语句求素数_Python基础入门_3条件语句和迭代循环
Python 基础入门前两篇: Python 基础入门--简介和环境配置 Python基础入门_2基础语法和变量类型 这是第三篇内容,主要简单介绍条件语句和迭代循环语句,内容也比较简单,目录如下: 条 ...
- MAYA 2022基础入门学习教程
流派:电子学习| MP4 |视频:h264,1280×720 |音频:AAC,48.0 KHz 语言:英语+中英文字幕(根据原英文字幕机译更准确)|大小解压后:3.41 GB |时长:4.5小时 包含 ...
- Blender 3.0基础入门学习教程 Introduction to Blender 3.0
成为Blender通才,通过这个基于项目的循序渐进课程学习所有主题的基础知识. 你会学到什么 教程获取:Blender 3.0基础入门学习教程 Introduction to Blender 3.0- ...
- 三维地形制作软件 World Machine 基础入门学习教程
<World Machine课程>涵盖了你需要的一切,让你有一个坚实的基础来构建自己的高质量的电影或视频游戏地形. 你会学到什么 为渲染或游戏开发创建高分辨率.高细节的地形. 基于Worl ...
- SketchUp Pro 2021基础入门学习视频教程
SketchUp Pro 2021基础入门学习视频教程 1280X720 MP4 |视频:h264,1280×720 |音频:AAC,44.1 KHz,2 Ch 流派:电子学习|语言:英语+中文字幕( ...
- Maya基础入门学习教程
Maya基础入门学习教程 视频:.MKV, 1280x720, 共57节课 时长 4小时25分钟,3GB 语言:英语+中文字幕(根据原英文字幕机译更准确)+原英文字幕 指导老师:Shane Whitt ...
- Maya2022基础入门学习教程
Maya2022基础入门学习教程 Maya 2022 Essential Training Maya2022基础入门学习教程 Maya 2022 Essential Training MP4 |视频: ...
- Blender基础入门学习教程 Learning Blender from Scratch
Blender基础入门学习教程 Learning Blender from Scratch 流派:电子学习| MP4 |视频:h264,1280×720 |音频:aac,48000 Hz 语言:英语+ ...
最新文章
- 中自苏研院2021招聘季开始啦!
- 使用外置tomcat部署spring boot程序需添加servlet-api
- pandas整表写入excel指定位置_当Python遇到Excel,一个能打的都没有~
- 微型计算机选用要点,微型计算机原理以及应用考试_new要点分析.doc
- InstallShield 2011正式发布
- Python学习_4_if_while_for
- python接口脚本实例_python图形用户接口实例详解
- java cookie过期_在Express中,会话Cookie过期
- 《田野里的自然历史课》首发 科普中华农耕文明
- 关于SVN代码提交粒度和频率的思考
- mac版锐捷显示无法连接到服务器,MAC升级10.9后校园网(锐捷)客户端无法连接怎么办?...
- jmeter录制脚本及操作数据库
- 直播开篇——直播场景和技术分析
- 智慧校园APP系统开发的优势
- Internet网络行为学
- C语言编程>第六周 ① 编写一个录入函数:用来从键盘接收n个整型数并存放在一个整型数组中。 在主函数中调用该函数计算出这n个整数之和。
- 哈希表--管理公司员工信息
- 郭博绘制的类似modbus的处理机制
- 数据库新技术前沿总结
- 灵玖软件:NLPIR大数据语义智能为企业“画像”
热门文章
- redis 图片2进制保存_Redis数据结构底层的SDS了解吗
- QT Core | 信号槽02 - GUI上按钮触发应用程序的函数(lambda表达式)
- python读awx文件_ansible awx用法
- Spring Boot笔记-普通异常错误截取及构造错误页面
- Java题-直接赋值与重新创建内存
- Java高级语法笔记-文件读写(2)
- 大三软件工程小项目-小技术集合-socket环境搭建
- 3dmax体积雾渲染不出来_corona渲染,非常实用的小技巧
- html js 控制span值,根据显示/隐藏span标签/ Javascript组设置span文本?
- job每分钟执行 oracle_oracle job 时间每五分钟执行怎么写