介绍

使用codec的multiline插件实现多行匹配，这是一个可以将多行进行合并的插件，而且可以使用what指定将匹配到的行与前面的行合并还是和后面的行合并。
1.java日志收集测试

input {stdin {codec => multiline {pattern => "^\["                     //以"["开头进行正则匹配negate => true                          //正则匹配成功what => "previous"                        //和前面的内容进行合并}}
}
output {stdout {codec => rubydebug }
}

2.查看elasticsearch日志,已"["开头

# cat /var/log/elasticsearch/cluster.log
[2018-05-29T08:00:03,068][INFO ][o.e.c.m.MetaDataCreateIndexService] [node-1] [systemlog-2018.05.29] creating index, cause [auto(bulk api)], templates [], shards [5]/[1], mappings []
[2018-05-29T08:00:03,192][INFO ][o.e.c.m.MetaDataMappingService] [node-1] [systemlog-2018.05.29/DCO-zNOHQL2sgE4lS_Se7g] create_mapping [system]
[2018-05-29T11:29:31,145][INFO ][o.e.c.m.MetaDataCreateIndexService] [node-1] [securelog-2018.05.29] creating index, cause [auto(bulk api)], templates [], shards [5]/[1], mappings []
[2018-05-29T11:29:31,225][INFO ][o.e.c.m.MetaDataMappingService] [node-1] [securelog-2018.05.29/ABd4qrCATYq3YLYUqXe3uA] create_mapping [secure]

3.配置logstash

#vim /etc/logstash/conf.d/java.conf
input {file {path => "/var/log/elasticsearch/cluster.log"type => "elk-java-log"start_position => "beginning"stat_interval => "2"codec => multiline {pattern => "^\["negate => truewhat => "previous"}}
}
output {if [type] == "elk-java-log" {elasticsearch {hosts => ["192.168.1.31:9200"]index => "elk-java-log-%{+YYYY.MM.dd}"}}
}

4.启动

logstash -f /etc/logstash/conf.d/java.conf -t
systemctl restart logstash

5.head插件查看

6.kibana添加日志

参考链接：

logstash收集java日志,多行合并成一行： https://www.cnblogs.com/lovelinux199075/p/9104389.html

ELK下logstash收集java日志,多行合并成一行相关推荐

logstash收集java日志,多行合并成一行
使用codec的multiline插件实现多行匹配,这是一个可以将多行进行合并的插件,而且可以使用what指定将匹配到的行与前面的行合并还是和后面的行合并. 1.java日志收集测试 input {s ...
mysql和sqlserver共存_mysql 和sqlserver的多行合并成一行
mysql 和sqlserver的多行合并成一行 mysql 多行合并: mysql 内置函数 group_concat(exper SEPARATOR " " ) expe ...
[Pandas] 多行合并成一行
美图欣赏2022/09/16 在最近的需求开发中,有如下需求需要进行修改,数据源demo如下所示根据字段'material'进行分组,对字段'site'进行合并,内容之间用逗号(,)分隔,再进行去重 ...
（总结）Linux下多行合并成一行，中间加分隔符
将某个目录下的文件合并成一行,中间用冒号(:)作为分隔符 1.paste ls lib | sed 's@^@lib/@g' | paste -s -d ":" 2. tr ls ...
mysql多行合并成一行_数据文件合并与拆分
[摘要] 本文介绍将多个文本文件和 Excel 文件合并成一个文件,或者将一个文件拆分成几个小文件时,如何处理会遇到的几种情况,并用 esProc SPL 举例实现. 在数据处理业务中,经常要把文件结 ...
oracle 多行合并成一行
假如有如下表,其中各个i值对应的行数是不定的 Sql代码 SQL> select * from t; I A D ---------- ---------- ------- ...
HTML 表格合并（表格合并行属性 rowspan 将多行合并成一行）
<table border="1"> <tr> <td colspan="3" >用户信 ...
怎么把好几行弄成一行_将多行内容合并成一行的两种方式
在利用Unix操作系统在实现一些具体应用的时候,可能需要把某些显示的结果进行行与行之间的合并.如现在需要用Unix操作系统设计一个彩票软件,每一张彩票上最多可以打印五注内容.在Unix操作系统的数据文 ...
ELK收集java日志
转载来源:ELK收集java日志 https://www.jianshu.com/p/957e8ead3f8d 由于elasticsearch本身产生的日志就是java日志,所以我们可以通过ELK平台 ...

ELK下logstash收集java日志,多行合并成一行

介绍

ELK下logstash收集java日志,多行合并成一行相关推荐

最新文章

热门文章