logstash收集java日志,多行合并成一行
使用codec的multiline插件实现多行匹配,这是一个可以将多行进行合并的插件,而且可以使用what指定将匹配到的行与前面的行合并还是和后面的行合并。
1.java日志收集测试
input {stdin {codec => multiline {pattern => "^\[" //以"["开头进行正则匹配negate => true //正则匹配成功what => "previous" //和前面的内容进行合并}}
}
output {stdout {codec => rubydebug }
}
2.查看elasticsearch日志,已"["开头
# cat /var/log/elasticsearch/cluster.log
[2018-05-29T08:00:03,068][INFO ][o.e.c.m.MetaDataCreateIndexService] [node-1] [systemlog-2018.05.29] creating index, cause [auto(bulk api)], templates [], shards [5]/[1], mappings []
[2018-05-29T08:00:03,192][INFO ][o.e.c.m.MetaDataMappingService] [node-1] [systemlog-2018.05.29/DCO-zNOHQL2sgE4lS_Se7g] create_mapping [system]
[2018-05-29T11:29:31,145][INFO ][o.e.c.m.MetaDataCreateIndexService] [node-1] [securelog-2018.05.29] creating index, cause [auto(bulk api)], templates [], shards [5]/[1], mappings []
[2018-05-29T11:29:31,225][INFO ][o.e.c.m.MetaDataMappingService] [node-1] [securelog-2018.05.29/ABd4qrCATYq3YLYUqXe3uA] create_mapping [secure]
3.配置logstash
#vim /etc/logstash/conf.d/java.conf
input {file {path => "/var/log/elasticsearch/cluster.log"type => "elk-java-log"start_position => "beginning"stat_interval => "2"codec => multiline {pattern => "^\["negate => truewhat => "previous"}}
}
output {if [type] == "elk-java-log" {elasticsearch {hosts => ["192.168.1.31:9200"]index => "elk-java-log-%{+YYYY.MM.dd}"}}
}
4.启动
logstash -f /etc/logstash/conf.d/java.conf -t
systemctl restart logstash
5.head插件查看
6.kibana添加日志
转载于:https://www.cnblogs.com/lovelinux199075/p/9104389.html
logstash收集java日志,多行合并成一行相关推荐
- ELK下logstash收集java日志,多行合并成一行
介绍 使用codec的multiline插件实现多行匹配,这是一个可以将多行进行合并的插件,而且可以使用what指定将匹配到的行与前面的行合并还是和后面的行合并. 1.java日志收集测试 input ...
- mysql和sqlserver共存_mysql 和sqlserver的 多行合并成一行
mysql 和sqlserver的 多行合并成一行 mysql 多行合并: mysql 内置函数 group_concat(exper SEPARATOR " " ) expe ...
- [Pandas] 多行合并成一行
美图欣赏2022/09/16 在最近的需求开发中,有如下需求需要进行修改,数据源demo如下所示 根据字段'material'进行分组,对字段'site'进行合并,内容之间用逗号(,)分隔,再进行去重 ...
- (总结)Linux下多行合并成一行,中间加分隔符
将某个目录下的文件合并成一行,中间用冒号(:)作为分隔符 1.paste ls lib | sed 's@^@lib/@g' | paste -s -d ":" 2. tr ls ...
- mysql多行合并成一行_数据文件合并与拆分
[摘要] 本文介绍将多个文本文件和 Excel 文件合并成一个文件,或者将一个文件拆分成几个小文件时,如何处理会遇到的几种情况,并用 esProc SPL 举例实现. 在数据处理业务中,经常要把文件结 ...
- oracle 多行合并成一行
假如有如下表,其中各个i值对应的行数是不定的 Sql代码 SQL> select * from t; I A D ---------- ---------- ------- ...
- HTML 表格合并(表格合并行属性 rowspan 将多行合并成一行)
<table border="1"> <tr> <td colspan="3" >用户信 ...
- 怎么把好几行弄成一行_将多行内容合并成一行的两种方式
在利用Unix操作系统在实现一些具体应用的时候,可能需要把某些显示的结果进行行与行之间的合并.如现在需要用Unix操作系统设计一个彩票软件,每一张彩票上最多可以打印五注内容.在Unix操作系统的数据文 ...
- java 合并到一行_mysql中将多行数据合并成一行数据
一个字段可能对应多条数据,用mysql实现将多行数据合并成一行数据 例如:一个活动id(activeId)对应多个模块名(modelName),按照一般的sql语句: 1 SELECT am.acti ...
最新文章
- python123注册需要输入真实姓名和学校吗_python-----作业完成--学校选课系统
- Java程序员面试时要注意的一些问题
- makefile 的export问题
- linux系统下替换图片,Linux(ubuntu系统)下使用FreeImage库
- 微表情如何用计算机分析计算,面部微表情识别若干关键技术之计算机研究
- 新疆农业大学的计算机专业的分数线是多少,2017新疆农业大学科学技术学院专业排名及分数线...
- fastjson jsonobject 转bean失败_干掉quot;FastJsonquot;?
- Evaluate that you caught up with the price cut
- ORA-01113:文件n需要介质恢复 (转载)
- CAS(Compare and Swap)理解
- 12864 c语言,单片机12864 c程序
- ChIP-Atlas:基于公共chip_seq数据进行分析挖掘
- 003_java三大版本
- Linux文件颜色含义
- cdrx8如何批量导出jpg_cdr超级伴侣批量导图v8.0 免费版
- html嵌入虎牙直播功能,虎牙开放平台-年轻人喜爱的互动直播平台,直播帮助,直播教程,虎牙直播...
- NLPCC2020讲习班系列(一)—— 多模态
- 论文阅读 (二十一):Exploratory Machine Learning with Unknown Unknowns (2021AAAI EXML)
- 融云聊天室属性 kv
- python判断成年_用python判断你是青少年还是老年人
热门文章
- ldap认证服务的搭建
- Amoeba+Mysql实现读写分离+java连接amoeba
- 1小时学会JQuery
- (转)Android--sharepreference总结
- php svn客户端
- linux5 syscall 流程_Linux的上的程序是如何运行的,api机制是怎么样?
- vscode we cannot connect_「战报」WE 1-0 DMO:双C无解发育发挥出色 WE稳扎稳打拿下首局...
- 小程序css之圆角边框
- keil5建立工程步骤_5个步骤建立实践社区
- 使用devops的团队_具有DevOps心态的团队的蓝图