更多编程教程请到：菜鸟教程 https://www.piaodoo.com/

友情链接：

高州阳光论坛https://www.hnthzk.com/ 人人影视http://www.op-kg.com/

引言：

之前博文介绍过了mysql/oracle与ES之间的同步机制。而logstash最初始的日志同步功能还没有介绍。本文就logstash同步日志到ES做下详细解读。

1、目的：

将本地磁盘存储的日志文件同步（全量同步、实时增量同步）到ES中。

2、源文件：

[root@5b9dbaaa148a test_log]# ll
-rwxrwxrwx 1 root root 170 Jul 5 08:02 logmachine.sh
-rw-r--r-- 1 root root 66 Jul 5 08:25 MProbe01.log
-rw-r--r-- 1 root root 74 Jul 5 08:28 MProbe02.log

3、增量实时同步脚本：

[root@5b9dbaaa148a test_log]# cat logmachine.sh
#!/bin/bash
icnt=0;
while (true)
doecho "[debug][20160703-15:00]"$icnt >> MProbe01.logecho "[ERROR][20160704-17:00]"$icnt >> MProbe02.logicnt=$((icnt+1));
done

4、logstash配置文件：

[root@5b9dbaaa148a logstash_jdbc_test]# cat log_test.conf
input {file {path=> [ "/usr/local/logstash/bin/test_log/MProbe01.log",
"/usr/local/logstash/bin/test_log/MProbe02.log" ]#codec=>multiline {# pattern => "^\s"# what=>"previous"#}type=>"probe_log" #类型名称# tags=>["XX.XX.XX.XX"]}
}

###过滤
#filter{

grok {

match => [“message”,“mailmonitor”]

add_tag => [mailmonitor]

}

grok {

match => [ “message”, “smsmonitor” ]

add_tag => [smsmonitor]

}

…

###output to es
output {
elasticsearch {
hosts => “10.8.5.101:9200”
index => “mprobe_index” #索引名称
#template_name => “mprobelog”
#document_id => “%{id}”
}
stdout { codec => json_lines }
}

5、同步测试：

[root@5b9dbaaa148a bin]# ./logstash -f ./logstash_jdbc_test/log_test.conf
Settings: Default pipeline workers: 24
Pipeline main started
{"message":"[DEbug][20160305-15:35]testing02","@version":"1","@timestamp":"2016-07-05T07:26:08.043Z","path":"/usr/local/logstash/bin/test_log/MProbe01.log","host":"5b9dbaaa148a"

6、结果验证

（1）日志记录：

[root@5b9dbaaa148a test_log]# tail -f MProbe01.log
[DEbug][20160305-15:35]testing02
[DEbug][20160305-15:35]testing01
^C
[root@5b9dbaaa148a test_log]# tail -f MProbe02.log
[DEbug][20160305-15:35]testing02_001
[DEbug][20160305-15:35]testing02_003

（2）ES记录

以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持菜鸟教程www.piaodoo.com。

基于logstash实现日志文件同步elasticsearch相关推荐

log file sync(日志文件同步) 与 Log file parallel write 等待事件
log file sync(日志文件同步)等待事件具有一个参数:buffer#.在Oracle Database 10g中,这种等待事件位于Commit等待下面.当处理log file sync等待事 ...
centos7安装Filebeat采集日志文件存到Elasticsearch
概述 Filebeat是Beats家族的成员之一,是个轻量级的日志采集工具,通过收集日志信息,可以转发到 Elasticsearch 或者 Logstash进行索引存储. 工作原理当启动Filebe ...
基于Rsyslog的日志文件采集办法
近几年笔者在生产环境中,很多日志处理场景中都适用了Rsyslog,在基于UDP的分布式日志汇聚.日志文件采集方面都有出色的发挥,"The rocket-fast system for log ...
Springboot项目通过logstash将日志分类写入Elasticsearch
需求:我们需要把线上日志收集起来进行分析.在开发阶段,更多的时候程序是运行在本地,所以使用FileBeats就有点繁琐.我们采用直接将日志通过tcp输出到logstash的方案. 同时,我们的日志并没 ...
mysql 同步日志文件_mysql 5.5 中对SLAVE relay-log相关日志文件同步的强化
在V5.5中,MYSQL对这一块进行了强化,增加三个参数: sync_relay_log_info # default 0 sync_master_info # default 0 sync_rela ...
logStash收集日志并存储到Elasticsearch
为什么80%的码农都做不了架构师?>>> 上一节说道如何用logStash收集日志,结合Elasticsearch 进行日志收集和存储 logStash配置如下 input { ...
Windows中基于GoodSync双向文件同步
数据摆渡系列文章目录第一篇:CentOs7中基于rsync的双向文件同步第二篇:Windows中基于GoodSync双向文件同步文章目录数据摆渡系列文章目录前言一.下载二.安装三.使用 ...
rsync一行代码实现远程文件同步之修改默认22端口
由于需求需要把应用服务器上的日志文件同步到文件服务器上,但是又不能用22端口文章目录一.应用服务器脚本修改如下二.文件服务器操作三.执行脚本测试四.应用服务器生成ssh key 五.文件服务 ...
oracle 开并行写入命令,Oracle等待事件“日志文件并行写入”更改
这篇文章是关于如何测量"日志文件并行写入"事件的时间.这对于Oracle数据库中任何更改活动的性能调整都很重要,因为使用默认提交设置,提交更改的前台会话将在等待事件"日志 ...

基于logstash实现日志文件同步elasticsearch

grok {

match => [“message”,“mailmonitor”]

add_tag => [mailmonitor]

}

grok {

match => [ “message”, “smsmonitor” ]

add_tag => [smsmonitor]

}

…

基于logstash实现日志文件同步elasticsearch相关推荐

最新文章

热门文章