filebeat收集java日志_filebeat采集多个项目日志

filebeat采集的日志内容包含java项目的和nginx日志，前期规划不同服务的日志路径应该进行区分。我们这里没有区分，java项目的日志和nginx的日志都存在一个路径下，导致在收集日志的时候，java项目的日志收集到了，但是nginx的日志在message中会有多条日志内容，这样采集的服务日志只能有一个可以使用，最主要的是日志的格式不一样，java项目的日志格式是以时间开头，nginx的日志是以IP开头。filebeat采集的规则可以选择多个，这里使用了参数"|"也就是or的意思。

............................................................

data:

filebeat.yml: |-

filebeat.inputs:

- type: container

paths:

- /var/log/containers/*.log

document_type: "english-server"

multiline.pattern: '^[0-9]{4}-[0-9]{2}-[0-9]{2}\ [0-9]{2}:[0-9]{2}:[0-9]{2}|(25[0-5]|2[0-4]\d|[0-1]\d{2}|[1-9]?\d)\.(25[0-5]|2[0-4]\d|[0-1]\d{2}|[1-9]?\d)\.(25[0-5]|2[0-4]\d|[0-1]\d{2}|[1-9]?\d)\.(25[0-5]|2[0-4]\d|[0-1]\d{2}|[1-9]?\d)'

multiline.negate: true

multiline.match: after

processors:

..............................................................

在multiline.pattern中添加了两个正则分别是以[0-9]{4}-[0-9]{2}-[0-9]{2}\ [0-9]{2}:[0-9]{2}:[0-9]{2}开头的行或2[0-4]\d|[0-1]\d{2}|[1-9]?\d)\.(25[0-5]|2[0-4]\d|[0-1]\d{2}|[1-9]?\d)\.(25[0-5]|2[0-4]\d|[0-1]\d{2}|[1-9]?\d)\.(25[0-5]|2[0-4]\d|[0-1]\d{2}|[1-9]?\d)开头的行，进行收集。收集的日志根据正则把日志内容进行按行划分，这样有一个痛点就是日志采集都写到一个文件中了，到最后一个日志文件有2-3T的大小，查询没有太大的问题，不过备份的时候就比较困难了。如果针对项目进行区分，可以使用tag，给每个项目的日志路径打一个tag，然后在写到es时根据项目名称写入。这样比较简单，不过比较麻烦。需要在logstash中定义多个做if判断。如果十几个模块还好，要是五六十个模块就难了。

filebeat收集java日志_filebeat采集多个项目日志 | 吴老二相关推荐

filebeat 收集json格式_Filebeat 采集日志实践经验记录
Filebeat 日志采集工具在日常工作中,使用场景更多的是用来采集Nginx 日志和Java 应用运行的日志了.这里简单记录一下踩到坑,和大家分享. 一.Filebeat 收集Nginx 访问日志 ...
docker 日志_Filebeat 采集 Docker 日志
由于容器的特性,在容器重新创建后日志会废弃掉,如何通过持久化和中心化的处理容器日志变成一个棘手的问题,如何通过 Elastic Stack 进行一站式的数据采集,数据清洗,数据落地,数据可视化,让数据 ...
通过filebeat、logstash、rsyslog采集nginx日志的几种方式
由于nginx功能强大,性能突出,越来越多的web应用采用nginx作为http和反向代理的web服务器.而nginx的访问日志不管是做用户行为分析还是安全分析都是非常重要的数据源之一.如何有效便捷的 ...
filebeat 收集json格式_集群日志收集架构ELK
欢迎关注头条号:老顾聊技术精品原创技术分享,知识的组装工前言前几篇我们介绍了项目中如何使用logback组件记录系统的日志情况:现在我们的系统都是分布式的,集群化的,那就代表着我们的应用会分布在 ...
ELK 收集 Java 后台日志
01 Java 日志样式 Java日志的特点在于输出信息非常多,通常需要将多行日志信息拼成一个事件,所以需要多行匹配模式.由于Elasticsearch本身就是使用Java开发的,所以Java日志收集 ...
ELK收集java日志
转载来源:ELK收集java日志 https://www.jianshu.com/p/957e8ead3f8d 由于elasticsearch本身产生的日志就是java日志,所以我们可以通过ELK平台 ...
filebeat收集日志到elsticsearch中并使用ingest node的pipeline处理
filebeat收集日志到elsticsearch中一.需求二.实现 1.filebeat.yml 配置文件的编写 2.创建自定义的索引模板 3.加密连接到es用户的密码 1.创建keystore ...
java tomcat 日志分析工具_tomcat日志集中采集、分析与展示的几种方法
大家在做分布式web系统的时候,比如那么多个tomcat,每天都会产生很多的日志(虽然已经按小时进行日志拆分了,但日志内容还是很大,vim查日志的时候很慢),而且那么多个tomcat,每个tomcat ...
写给大忙人的ELK最新版6.2.4学习笔记-Logstash和Filebeat解析(java异常堆栈下多行日志配置支持)...
接前一篇CentOS 7下最新版(6.2.4)ELK+Filebeat+Log4j日志集成环境搭建完整指南,继续对ELK. logstash官方最新文档https://www.elastic.co/g ...

filebeat收集java日志_filebeat采集多个项目日志 | 吴老二

filebeat收集java日志_filebeat采集多个项目日志 | 吴老二相关推荐

最新文章

热门文章