logstash-filter模块

Fillters 在Logstash处理链中担任中间处理组件。他们经常被组合起来实现一些特定的行为来，处理匹配特定规则的事件流。常见的filters如下：

grok：解析无规则的文字并转化为有结构的格式。Grok 是目前最好的方式来将无结构的数据转换为有结构可查询的数据。有120多种匹配规则，会有一种满足你的需要。
mutate：mutate filter 允许改变输入的文档，你可以从命名，删除，移动或者修改字段在处理事件的过程中。
drop：丢弃一部分events不进行处理，例如：debug events。
clone：拷贝 event，这个过程中也可以添加或移除字段。
geoip：添加地理信息(为前台kibana图形化展示使用)
它的主要作用就是把数据解析成规则的json键值对格式便于输出到其他组件中使用。
logstash自带的文件正则支持grok,date,geoip

logstash-filter模块相关推荐

logstash filter 处理json数据按原始数据字段数据存储
以下是实例原始数据: {"countnum":2,"checktime":"2017-05-23 16:59:32"} {"co ...
logstash filter 过滤器详解
一.grok 正则捕获插件 grok是一个十分强大的logstash filter插件,他可以通过正则解析任意文本,将非结构化日志数据解析成结构化和方便查询的结构.是目前logstash 中解析非结构 ...
使用Logstash filter grok过滤日志文件
Logstash提供了一系列filter过滤plugin来处理收集到的log event,根据log event的特征去切分所需要的字段,方便kibana做visualize和dashboard的da ...
logstash filter grok 用法
在elk+filebeat都安装好,且明白了基本流程后,主要的就是写logstash的filter了,以此来解析特定格式的日志 logstash的filter是用插件实现的,grok是其中一个,用来解 ...
Logstash filter grok正则的使用及介绍
一.Logstash企业级插件案例(EFLK架构) 1.常见的插件概述 gork插件:Grok是将⾮结构化⽇志数据解析为结构化和可查询的好⽅法.底层原理是基于正则匹配任意⽂本格式.该⼯具⾮常适合sy ...
Logstash~filter.json过滤器使用教程（附带示例）
一.介绍用来解析json格式数据的过滤器,默认会解析置顶字段的json数据并将其放置在Logstash事件的最顶级中,可以配置target配置项选择存放结果位置如果解析的数据包含一个@timest ...
Logstash~filter.kv插件使用教程（附带示例）
一.kv介绍用于解析key=value类型的消息,可以配置任意字符串来拆分数据,不一定非要用=符号,kv对的间隔也不一定非要用空格二.allow_duplicate_values 功能:允许重复键 ...
Logstash 使用fingerprint filter过滤重复数据
1. 概要工作中,Elasticsearch有个索引是通过Logstash同步Oracle数据生成的.但是又需要根据一定的规则,过滤掉重复的数据,生成另一个索引.用一张图来表示就是这样: 数据源是O ...
logstash过滤器插件filter详解及实例
原创作者:峰哥ge 原创地址: https://www.cnblogs.com/FengGeBlog/p/10305318.html logstash过滤器插件filter grok正则捕获 grok ...
Nginx模块开发：模块结构的源码阅读以及过滤器（Filter）模块的实现
Nginx模块开发:模块结构的源码阅读以及过滤器(Filter)模块的实现一.Nignx中的模块是什么? 二.模块的基本结构 `ngx_module_s` `ngx_command_s` `ngx_ ...

logstash-filter模块

logstash-filter模块相关推荐

最新文章

热门文章