Logstash 初探
2019独角兽企业重金招聘Python工程师标准>>>
Logstash
Logstash是一个开源数据收集引擎,具有实时管道功能。Logstash可以动态地将来自不同数据源的数据统一起来,并将数据标准化到你所选择的目的地。
集中、转换和存储你的数据
Logstash是一个开源的服务器端数据处理管道,可以同时从多个数据源获取数据,并对其进行转换,然后将其发送到你最喜欢的“存储”。(当然,我们最喜欢的是Elasticsearch)
INPUTS (输入插件): 采集各种格式、大小和来源的数据
数据往往以各种各样的形式,或分散或集中地存在于很多系统中。Logstash 支持各种输入选择 ,可以在同一时间从众多常用来源捕捉事件。能够以连续的流式传输方式,轻松地从您的日志、指标、Web 应用、数据存储以及各种 AWS 服务采集数据。
FILTERS (过滤器插件):实时解析和转换数据
数据从源传输到存储库的过程中,Logstash 过滤器能够解析各个事件,识别已命名的字段以构建结构,并将它们转换成通用格式,以便更轻松、更快速地分析和实现商业价值。
Logstash 能够动态地转换和解析数据,不受格式或复杂度的影响:
- 利用 Grok 从非结构化数据中派生出结构
- 从 IP 地址破译出地理坐标
- 将 PII 数据匿名化,完全排除敏感字段
- 整体处理不受数据源、格式或架构的影响
我们丰富的过滤库给数据过滤提供了无限的可能性。
OUTPUTS(输出插件):选择你的存储,导出你的数据
尽管 Elasticsearch 是我们的首选输出方向,能够为我们的搜索和分析带来无限可能,但它并非唯一选择。Logstash 提供众多输出选择,您可以将数据发送到您要指定的地方,并且能够灵活地解锁众多下游用例。
安装Logstach
1、安装JDK
Logstach是基于Java开发是一个Java程序,运行在Jvm中,所以第一步要安装JDK。
yum install -y java-1.8.0-openjdk-devel
2、下载Logstach
https://www.elastic.co/cn/downloads/logstash,是Logstach的官方站点,如果需要下载最新的版本,进入官网下载即可。可以下载到本地电脑然后再导入CentOS中,也可以直接在CentOS中下载。
wget https://artifacts.elastic.co/downloads/logstash/logstash-6.5.4.rpm
2、安装Logstach
# 执行安装命令rpm -ivh logstash-6.5.4.rpmwarning: logstash-6.5.4.rpm: Header V4 RSA/SHA512 Signature, key ID d88e42b4: NOKEY
Preparing... ########################################### [100%]1:logstash ########################################### [100%]
Using provided startup.options file: /etc/logstash/startup.options
Successfully created system startup script for Logstash# 查看下logstash的安装目录rpm -ql logstash# 创建一个软连接,每次执行命令的时候不用在写安装路劲(默认安装在/usr/share下)ln -s /usr/share/logstash/bin/logstash /bin/
好,马上开始我们的第一个例子:
首先,让我们通过最基本的Logstash管道来测试一下刚才安装的Logstash。Logstash管道有两个必需的元素,输入和输出,以及一个可选元素过滤器。输入插件从数据源那里消费数据,过滤器插件根据你的期望修改数据,输出插件将数据写入目的地。
接下来我们输入最基本的管道,例如:
# 执行logstash的命令logstash -e 'input { stdin { } } output { stdout {} }' # -e是允许命令行指定配置# 运行成功以后输入:hello world
然后启动后,输入hello world
# 注:
# -e 执行操作
# input 标准输入
# { input } 插件
# output 标准输出
# { stdout } 插件
#
# 通过rubydebug来输出下更详细的信息
logstash -e 'input { stdin { } } output { stdout {codec => rubydebug} }'# 执行成功输入:
爱上一匹野马,可我家里没有草原# stdout输出的结果:
# 如果标准输出还有Elasticsearch中都需要保留应该怎么玩,看下面
logstash -e 'input { stdin { } } output { elasticsearch { hosts => ["192.168.1.111:9200"] } stdout { codec => rubydebug }}'# 运行成功以后输入:
爱上一匹野马,可我的家里没有草原# 返回的结果(标准输出中的结果):
参考资料
- https://www.elastic.co/guide/en/logstash/current/index.html 官网文档
转载于:https://my.oschina.net/u/2403594/blog/2993997
Logstash 初探相关推荐
- 面试官:请你从架构演进的角度讲讲redis、kafka和 pulsar消息队列
导语 | 市面上有非常多的消息中间件,rabbitMQ.kafka.rocketMQ.pulsar. redis等等,多得令人眼花缭乱.它们到底有什么异同,你应该选哪个?本文尝试通过技术演进的方式,以 ...
- Elasticsearch+logstash+kibana
ELK搜索高级课程 1. 课程简介 1.1 课程内容 ELK是包含但不限于Elasticsearch(简称es).Logstash.Kibana 三个开源软件的组成的一个整体.这三个软件合成ELK.是 ...
- 几款开源的ETL工具及ELT初探
ETL,是英文 Extract-Transform-Load 的缩写,用来描述将数据从来源端经过抽取(extract).转换(transform).加载(load)至目的端的过程.ETL 是构建数据仓 ...
- 2021年大数据ELK(二十一):Logstash简介和安装
全网最详细的大数据ELK文章系列,强烈建议收藏加关注! 新文章都已经列出历史文章目录,帮助大家回顾前面的知识重点. 目录 Logstash简介和安装 一.简介 1.经典架构 2.对比Flume 3.对 ...
- 2021年大数据Flink(九):Flink原理初探
Flink原理初探 Flink角色分工 在实际生产中,Flink 都是以集群在运行,在运行的过程中包含了两类进程. JobManager: 它扮演的是集群管理者的角色,负责调度任务.协调 checkp ...
- 从壹开始微服务 [ DDD ] 之一 ║ D3模式设计初探 与 我的计划书
缘起 哈喽大家周四好!又是开心的一天,时间过的真快,我们的 <从壹开始 .net core 2.1 + vue 2.5 >前后端分离系列共 34 篇已经完结了,当然以后肯定还会有更新和修改 ...
- 经典算法研究系列:二、Dijkstra 算法初探
经典算法研究系列:二.Dijkstra 算法初探 July 二零一一年一月 ====================== 本文主要参考:算法导论 第二版.维基百科. 写的不好之处,还望见谅. 本 ...
- logstash写入到kafka和从kafka读取日志
收集nginx日志放到kafka 修改nginx日志格式:[nginx日志格式修改](https://blog.51cto.com/9025736/2373483) input {file {type ...
- 8.11. Migrating MySQL Data into Elasticsearch using logstash
https://www.elastic.co/guide/en/logstash/current/plugins-inputs-jdbc.html 8.11.1. 安装 logstash 安装 JDB ...
- las格式测井曲线_邹榕,等:顺北和托甫台区块奥陶系断裂结构单元测井响应特征初探...
引用格式:邹榕,徐中祥,张晓明,等.顺北和托甫台区块奥陶系断裂结构单测井响应特征初探[J].油气藏评价与开发,2020,10(2):18-23.ZOUR, XU Z X, ZHANG X M, et ...
最新文章
- 一种关注于重要样本的目标检测方法!
- php new httprequest,php安装HTTP_Request2及引用介绍(通过HTTP_Request创建微软人脸识别的群组 为例)...
- 你眼中的OA行业发展前景
- php 二维数组排序详解: array_multisort
- SpringBoot 页面跳转后css和js效果都无效了
- js/jquery判断浏览器的方法总结
- Oracle入门(五F)之11g show spparameter 命令的使用
- 安全地创建和存储密码
- Pandas period_range
- white-space、over-flow、text-overflow
- JS的parent对象
- mysql双机备份最简单_简单实现MySQL数据库双机热备份的方案
- vb科学计算机ppt,《计算机级VB教程》PPT课件.ppt
- 限制整个手机的网速 -- 360免费wifi
- 分享5款干净好用的电脑浏览器,用最后一款工作不累
- 三十不惑:情商智商决定我能走多快,德商(基本素质)决定我能走多远
- 英语3500词(20/20)dream主题(2022.4.30)
- 直接数字下变频(3):希尔伯特变换法
- Excel十个让你事半功倍的函数
- 2021 企业架构(EA)状态调查报告
热门文章
- C++知识点(三)函数
- 面向对象组合及三大特性
- python之模块随笔记-os
- 'System.Data.SqlClient' could not be loaded解决办法
- xtrabackup之Innobackupex全备数据库
- SqlHelper和数据访问层
- 模式窗口(Window.ShowModalDialogs)中提交不弹出新窗口
- C++ Simple Message/Logging Class
- 【ANT】输入中文格式为乱码
- Ruby——关于require与require_relative