大数据培训技术logstsh filter

logstsh filter

Filter是logstsh功能强大的原因，它可以对数据进行丰富的处理，比如解析数据、删除字段、类型转换等

date：日期解析

grok：正则匹配解析

dissect：分割符解析

mutate：对字段作处理，比如重命名、删除、替换等

json：按照json解析字段内容到指定字段中

geoip：增加地理位置数据

ruby：利用ruby代码来动态修改logstsh Event

./logstash -f ../../config/test.conf

{“logdate”:”Jan 01 2018 12:02:08”}

Grok

正则匹配

%{IPORHOST:clientip} %{USER:ident} %{USER:auth} \[%{HTTPDATE:timestamp}\] “%{WORD:verb} %{DATA:request} HTTP/%{NUMBER:httpversion}” %{NUMBER:response:int} (?:-|%{NUMBER:bytes:int}) %{QS:referrer} %{QS:agent}

93.180.71.3 – – [17/May/2015:08:05:32 +0000] “GET /downloads/product_1 HTTP/1.1” 304 0 “-” “Debian APT-HTTP/1.3 (0.8.16~exp12ubuntu10.21)”

93.180.71.3 – – [17/May/2015:08:05:23 +0000] “GET /downloads/product_1 HTTP/1.1” 304 0 “-” “Debian APT-HTTP/1.3 (0.8.16~exp12ubuntu10.21)”

Logstsh ouput

stdout

file :

file {

path => “/var/log/web.log”

codec => line {format => “%{message}”}

}

elasticsearch :

elasticsearch {

hosts => [“http://192.168.14.10:9200”]

index => “logstash-%{type}-%{+YYYY.MM.dd}”

}

想要了解跟多关于大数据培训课程内容欢迎关注尚硅谷大数据培训，尚硅谷除了这些技术文章外还有免费的高质量大数据培训课程视频供广大学员下载学习。

大数据培训技术logstsh filter相关推荐

深圳大数据培训技术分享：Hadoop集群同步
深圳大数据培训技术分享:Hadoop集群同步分享--是技术突飞猛进的很好体验!在千锋学习大数据技术,开始学会了分享,班里五十个人,每个人就能得到49份不同技术探讨.每次到分享的时刻,总会收获不同的想 ...
大数据培训技术之ClickHouse
大数据培训技术之ClickHouse概述 1.1 什么是ClickHouse ClickHouse 是俄罗斯的Yandex于2016年开源的列式存储数据库(DBMS),主要用于在线分析处理查询(OLA ...
大数据培训技术使用spark对phoenix的读写
使用spark对phoenix的读写在Phoenix中查看数据 select * from STOCK_SYMBOL 如下显示: 在Hbase中查看数据 scan "STOCK_SYMBO ...
大数据培训技术phoenix表操作
phoenix表操作 1 显示所有表 !table 或 !tables 2 创建表 CREATE TABLE IF NOT EXISTS us_population ( State CHAR(2) N ...
大数据培训技术Kibana
Kibana 1.Kibana安装 [root@localhost kibana]# tar -zxvf kibana-6.3.1-linux-x86_64.tar.gz [root@localhos ...
大数据培训技术：DataSet介绍
DataSet DataSet是具有强类型的数据集合,需要提供对应的类型信息. 1 创建 1)创建一个样例类 scala> case class Person(name: String, age ...
大数据培训技术Elasticsearch集群健康
集群健康在Elasticsearch集群中可以监控统计很多信息,但是只有一个是最重要的:集群健康(cluster health).集群健康有三种状态:green.yellow或red. 在一个没有索 ...
好程序员大数据培训技术分享：Hadoop集群同步
为什么80%的码农都做不了架构师?>>> 好程序员分享:Hadoop集群同步分享--是技术突飞猛进的很好体验!在好程序员学习大数据技术,开始学会了分享,班里五十个人,每个人就能 ...
大数据培训技术Kylin核心算法逐层构建算法
核心算法 Kylin的工作原理就是对数据模型做Cube预计算,并利用计算的结果加速查询: 1)指定数据模型,定义维度和度量: 2)预计算Cube,计算所有Cuboid并保存为物化视图: 预计算过程是K ...

大数据培训技术logstsh filter

logstsh filter

大数据培训技术logstsh filter相关推荐

最新文章

热门文章