log4j2+ELK
问题初衷
最近有个项目需求,需要统计下用户app的使用情况,比如:什么时候登录的,查询了什么内容等信息。
解决方案
1.定义用户轨迹模型,每步操作都写到数据库中,然后在前端展示。
- 优点:可以针对业务需求自定义模型,操作灵活,有针对性。
- 缺点:扩展能力需要靠自己设计,统计展示画面需要自己做。
2.用现成的用户数据分析平台,网上有很多成熟的平台,对接其api接口即可。
- 优点:各种分析图,什么有的没有的,见过的没见过的一应俱全。ps:现在用不上以后可能会用上。
- 缺点:受制于人,主要还要看自身业务是否适用。
3.ELK,集中式日志管理,特点:收集,传输,存储,管理,告警。
- 优点:开源,可以通过日志记录各种你想要记录的东西。丰富的分析图表。可轻松应对分布式,数据量大的情况。
ELK对接
- Elasticsearch+Logstash+Kibana(ELK)是一套开源的日志管理方案。
Elasticsearch:负责日志检索和分析
Logstash:负责日志的收集,处理和储存
Kibana:负责日志的可视化
对于保存日志到文件的的项目,可以用logstash的logstash-input-file插件直接进行文件读取,处理后转存到Elasticsearch中。处理可以用logstash-filter-kv键值插件或者logstash-filter-mutate等插件进行解析。具体查看Filter plugins。
由于我们的项目没有记录日志文件,所以选择直接发送日志信息到logstash,(对于log4j,logstash有专门的input插件)。
- log4j2的配置
<?xml version="1.0" encoding="UTF-8"?>
<Configuration><Properties><Property name="PATTERN">{"logger": "%logger", "level": "%level", "msg": "%message"}%n</Property></Properties><Appenders><Socket name="logstash-tcp" host="127.0.0.1" port="4560" protocol="TCP"><PatternLayout pattern="${PATTERN}"/></Socket></Appenders><Loggers><Root level="INFO"><AppenderRef ref="logstash-tcp" /></Root></Loggers>
</Configuration>
- logstash的配置
input {tcp {host => "127.0.0.1"port => 4560codec => json {charset => "UTF-8"}}
}filter {}output {elasticsearch {hosts => ["localhost"]manage_template => falseindex => "logstash-%{+YYYY.MM.dd}"document_type => "logstash"}
}
转存到Elasticsearch的message就是我们log4j2配置中的Json形式,如果想要将message拉平,那么只需要加入logstash-filter-json。
filter {json {source => "message"}
}
这样保存到Elasticsearch中的数据,就会变成如下形式
{ ... "message" => "{\"logger\": \"elk\", \"level\": \"INFO\", \"msg\": \"logstash test\"}\r","logger" => "elk","level" => "INFO","msg" => "logstash test"
}
这样对于Kibana分析的时候比较方便。
log4j2用Socket的方式会有一个问题,当logstash断掉,重启后你会发现收不到log4j2的日志了,传输断掉没有重连。在生产环境中,elk断掉,我们不可能在去重启所有与之相连的服务。所以接下来我们采用gelf方式。
- 修改pom
<dependency><groupId>biz.paluch.logging</groupId><artifactId>logstash-gelf</artifactId><version>1.12.0</version>
</dependency>
- 修改log4j2的配置
<?xml version="1.0" encoding="UTF-8"?>
<Configuration><Appenders><Gelf name="logstash-gelf" host="tcp:127.0.0.1" port="4560" version="1.1"><Field name="timestamp" pattern="%d{yyyy-MM-dd HH:mm:ss.SSS}" /><Field name="logger" pattern="%logger" /><Field name="level" pattern="%level" /><Field name="className" pattern="%C" /><Field name="method" pattern="%M" /><Field name="line" pattern="%L" /><Field name="server" pattern="%host" /></Gelf></Appenders><Loggers><Root level="INFO"><AppenderRef ref="logstash-gelf" /></Root></Loggers>
</Configuration>
- 修改logstash配置
input {gelf {host => "127.0.0.1"port => 4560use_tcp => truecodec => json {charset => "UTF-8"}}
}filter {json {source => "message"}
}output {elasticsearch {hosts => ["localhost"]manage_template => falseindex => "logstash-%{+YYYY.MM.dd}"document_type => "logstash"}
}
保存到Elasticsearch中的数据就会如同log4j2中的配置格式一样,由于我们这里依然配置了json filter,如果你的message是json字串,这里依然会拉平处理。
ELK搭建
以上我们log4j2与logstash的对接就完成了,对于docker部署elk,比较简单,网上有很多教程,当然还是推荐大家先去官网看看,注意版本对应。我选择的是sebp/elk,集成好的elk容器。详细的文档elk-docker
这里主要说说需要注意的地方,强烈建议安装之前看下文档中的Prerequisites。
- 首先,我就遇见了vm.max_map_count限制问题,在Elasticsearch version 5这是最常出现的问题。通过,如下修改,在重启后又会恢复原值。
sysctl -w vm.max_map_count=262144
持久性的做法是修改/etc/sysctl.conf文件中的vm.max_map_count
echo "vm.max_map_count=262144" > /etc/sysctl.conf
sysctl -p
- 其次,logstash的配置文件在/etc/logstash/conf.d/目录下,将input,filter,out分开,最终组合成一个,建议将/etc/logstash/conf.d映射出来,自行管理。
- 最后,因为log4j2在发送日志是是通过4560接口,所以启动docker的时候需要映射此接口。
以上是我在对接elk的时候遇到的问题,再次记录下,更多的elk内容后续会继续探索。
log4j2+ELK相关推荐
- Log4j2+ELK使用说明
前言 Log4j2配置 Logstash配置 ElasticSearch配置 Kibana配置 实战 总结 前言 通过阅读本文,我们了解如何在web项目中配置log4j2使得其可以与ELK协作. 说明 ...
- ELK系列(1) - Elasticsearch + Logstash + Kibana + Log4j2快速入门与搭建用例
前言 最近公司分了个ELK相关的任务给我,在一边学习一边工作之余,总结下这些天来的学习历程和踩坑记录. 首先介绍下使用ELK的项目背景:在项目的数据库里有个表用来存储消息队列的消费日志,这些日志用于开 ...
- Spring Boot应用集成Docker并结合Log4j2、Kafka、ELK管理Docker日志
Preface 原文链接: http://yangbingdong.com/2018/spring-boot-docker-elk/ 微服务架构下,微服务在带来良好的设计和架构理念的同时,也带来了运维 ...
- Spring Boot 搭建 ELK,这才是正确看日志的方式!
点击关注公众号,Java干货及时送达 作者:JingQ 来源:https://www.sevenyuan.cn 在看大型网站的中间件技术,对于Elasticsearch有点兴趣,所以将配置流程记录了一 ...
- elk日志分析系统_部署ELK企业内部日志分析系统
部署ELK企业内部日志分析系统 一.实验环境 二.基本环境部署 1.IP地址配置 2.主机名配置三台节点hosts文件要一致 [root@yichen-els-node1 ~]# cat /etc/h ...
- ELK安装配置,日志展示
ELK 首先要准备好ELK的安装包: jdk-8u162-linux-x64.rpm elasticsearch-6.2.4.rpm kibana-6.2.4-x86_64.rpm logstash- ...
- CentOs 7.2下ELK日志分析系统搭建
系统环境 为了安装时不出错,建议选择这两者选择一样的版本,本文全部选择5.3版本. System: Centos release 7.2 Java: openjdk version "1.8 ...
- 实战ELK(5) Logstash 入门
实战ELK(5) Logstash 入门 Logstash 是一个开源的数据收集引擎,它具有备实时数据传输能力.它可以统一过滤来自不同源的数据,并按照开发者的制定的规范输出到目的地. 一.原理 Log ...
- Docker 部署ELK 日志分析
Docker 部署ELK 日志分析 elk集成镜像包 名字是 sebp/elk 安装 docke.启动 yum install docke service docker start Docker至少得 ...
最新文章
- mysql的聚合函数综合案例_MySQL常用聚合函数详解
- scrapy中的下载器中间件
- 企业网络推广方法浅析如何提高网站的点击率和访问量呢?
- Linux 解压命令
- 极简代码:1012 数字分类 (20分)
- 使用windows资源管理器打开jar
- python回车键绑定按钮_python tkinter 绑定回车键
- DNN: ModuleSettings Vs TabModuleSettings
- Xilinx FPGA差分时钟转单端时钟设计
- 机器学习1.1--模型和代价函数
- 百度又要开放哪些无人车新能力?“老司机”Apollo3.5要来了,市中心开车无压力...
- 小腹右侧突然疼了一下_腰椎间盘膨出,为什么不是脊椎柱中间疼,而是左侧疼?...
- session和cookie的内部原理
- vbs教程《变量使用》
- idea安装插件gitee、插件商店里搜不到插件?
- 计算机加域和用户权限分配关系,加入域需要什么样的权限?
- 计算机网络中的网卡作用
- 使用Excel生成符合正态分布的随机数
- MySQL无法启动,服务没有报告任何错误
- 独家分享《让×××飞》普清640 x 276 迅雷下载 姜文新作
热门文章
- Client端异步Callback的应用与介绍
- [Node.js] 模块化 -- 中间件和跨域
- ES6学习笔记(五):轻松了解ES6的内置扩展对象
- PCL点云学习(1)——pcd文件的生成和读取
- ipc$远程连接计算机的指令,通过IPC$***,通过命令开启远程协助,。。
- javadoc 程序包android.content不存在,Eclipse中的Javadoc无法识别包
- 大班音乐机器人反思_大班音乐教案:机器人教案及教学反思
- input Type
- 基于链表的两个集合的交集(C++)
- 汇编语言---计算表达式的值