【可观测之ELK】elk+logback+redis 搭建日志平台

日志平台背景：

日志的分析和监控在系统开发中占非常重要的地位，系统越复杂，日志的分析和监控就越重要，常见的需求有:

根据关键字查询日志详情
监控系统的运行状况
统计分析，比如接口的调用次数、执行时间、成功率等
异常数据自动触发消息通知
基于日志的数据挖掘

很多团队在日志方面可能遇到的一些问题有:

开发人员不能登录线上服务器查看详细日志，经过运维周转费时费力
日志数据分散在多个系统，难以查找
日志数据量大，查询速度慢
一个调用会涉及多个系统，难以在这些系统的日志中快速定位数据
数据不够实时

ELK+Redis版本：

elasticsearch-2.1.0

kibana-4.3.1-linux-x64

logstash-2.1.1

redis-2.8.3

elk安装参考地址：

https://www.cnblogs.com/davidgu/p/6639307.html

elasticsearch配置：

Kibana配置：

Logstash配置：

input {
input {redis {codec => jsonhost => "127.0.0.1"port => 8098key => "logstash"data_type => "list"threads => 10}
}
filter {json {source => "message"}if ([message] =~  "^(?!.*?xx_data_logs_type).*$") {drop {}}
}
output {if [message] =~ "xx_data_logs_type" and [message] =~ "xx_error" {elasticsearch {hosts => ["localhost:9200"]index => "xx_app_error_%{+YYYY.MM.dd}"}}if [message] =~ "xx_data_logs_type" and [message] =~ "xx_request_info" {elasticsearch {hosts => ["localhost:9200"]index => "xx_app_request_info_%{+YYYY.MM.dd}"}}if [message] =~ "xx_data_logs_type" and [message] =~ "xx_sql_info" {elasticsearch {hosts => ["localhost:9200"]index => "xx_app_sql_info_%{+YYYY.MM.dd}"}}if [message] =~ "xx_data_logs_type" and [message] =~ "xx_info" {elasticsearch {hosts => ["localhost:9200"]index => "xx_app_info_%{+YYYY.MM.dd}"}}stdout {codec => dots}
}

logback+redis配置：

<?xml version="1.0" encoding="UTF-8"?>
<configuration><appender name="LOGSTASH" class="com.cwbase.logback.RedisAppender"><host>127.0.0.1</host><port>8098</port><key>logstash</key></appender><appender name="ASYNC" class="ch.qos.logback.classic.AsyncAppender"> <!-- 不丢失日志.默认的,如果队列的80%已满,则会丢弃TRACT、DEBUG、INFO级别的日志 --><discardingThreshold>0</discardingThreshold><!-- 更改默认的队列的深度,该值会影响性能.默认值为256 --><queueSize>5120</queueSize><appender-ref ref="LOGSTASH" /></appender>
<logger  name="com.xx"  level="info"><appender-ref ref="ASYNC"/>
</logger>
</configuration>

【可观测之ELK】elk+logback+redis 搭建日志平台相关推荐

RabbitMQ + ELK 搭建日志平台
CentOS下使用ELK套件搭建日志分析和监控平台 2015年01月30日 17:32:29 i_chips 阅读数:24252 https://blog.csdn.net/i_chips/artic ...
Logstash+Elasticsearch+kibana搭建日志平台文档(xjh20160527重庆公司亲测可用)
Logstash+Elasticsearch+kibana搭建日志平台文档 v1.0_xjh 20160527 http://wenku.baidu.com/link?url=_HaXh4neqWm ...
ELK学习3_使用redis+logstash+elasticsearch+kibana快速搭建日志平台
日志的分析和监控在系统开发中占非常重要的地位,系统越复杂,日志的分析和监控就越重要,常见的需求有: 根据关键字查询日志详情监控系统的运行状况统计分析,比如接口的调用次数.执行时间.成功率等异常数 ...
使用ELK(Elasticsearch + Logstash + Kibana) 搭建日志集中分析平台实践--转载
原文地址:https://wsgzao.github.io/post/elk/ 另外可以参考:https://www.digitalocean.com/community/tutorials/how- ...
Centos6.5使用ELK(Elasticsearch + Logstash + Kibana) 搭建日志集中分析平台实践
Centos6.5安装Logstash ELK stack 日志管理系统概述: 日志主要包括系统日志.应用程序日志和安全日志.系统运维和开发人员可以通过日志了解服务器软硬件信息.检查配置过程中的错误 ...
ELK快速搭建日志平台(基于7.9.3)
经过上两篇的安装学习,我们将这些软件都已安装: cent os7 安装elasticsearch-7.9.3(伪集群)和kibana-7.9.3 安装logstash-7.9.3和filebeat-7 ...
ELK 集群 + Redis 集群 + Nginx ,分布式的实时日志（数据）搜集和分析的监控系统搭建，简单上手使用
简述 ELK实际上是三个工具的集合,ElasticSearch + Logstash + Kibana,这三个工具组合形成了一套实用.易用的监控架构,很多公司利用它来搭建可视化的海量日志分析平台. 官 ...
基于Kafka+ELK搭建海量日志平台
早在传统的单体应用时代,查看日志大都通过SSH客户端登服务器去看,使用较多的命令就是 less 或者 tail.如果服务部署了好几台,就要分别登录到这几台机器上看,等到了分布式和微服务架构流行时代,一 ...
使用elk+redis搭建nginx日志分析平台（引）
http://www.cnblogs.com/yjf512/p/4199105.html elk+redis 搭建nginx日志分析平台 logstash,elasticsearch,kibana 怎 ...

【可观测之ELK】elk+logback+redis 搭建日志平台

【可观测之ELK】elk+logback+redis 搭建日志平台相关推荐

最新文章

热门文章