efk-elastalert-alerta集中日志自动告警

组成

1、efk: 日志收集框架

2、estalert: 是基于 Elasticsearch 的报警工具

3、elastalert-kibana-plugin : kibana中elastalert插件，可以实现在kibana界面上编辑elastalert的告警规则配置。

4、alerta: 告警集中收集平台，elastalert告警规则可以配置alerta为接收平台。之前npgstack中alerta作为监控指标信息告警接收平台，日志信息告警配置为同一个alerta作为告警接收平台，实现一个界面管理和观察多种维度的告警信息。

部署

上一篇文章使用docker-compose来部署efk日志收集框架，这样通过改造kibana容器镜像，把elastalert-kibana-plugin插件安装上。在yml文件增加服务elastalert。

改造kibana容器镜像，Dockerfile文件内容如下：

FROM kibana/kibana-oss:7.5.0
COPY ./elastalert-kibana-plugin-1.1.0-7.5.0.zip /tmp/
RUN ["kibana-plugin", "install", "file:///tmp/elastalert-kibana-plugin-1.1.0-7.5.0.zip"]

执行命令构建镜像

docker build -f Dockerfile -t kibana/kibana-oss:7.5.0-ea .

docker-compose.yml增加服务elastalert。

---
version: '2'
services:elastalert:image: bitsensor/elastalert:3.0.0-beta.1ports:- 3030:3030- 3333:3333volumes:- ./elastalert/config/elastalert.yaml:/opt/elastalert/config.yaml- ./elastalert/config/elastalert-test.yaml:/opt/elastalert/config-test.yaml- ./elastalert/config/config.json:/opt/elastalert-server/config/config.json- ./elastalert/rules:/opt/elastalert/rules- ./elastalert/rule_templates:/opt/elastalert/rule_templatesnetwork_mode: "bridge"links:- "elasticsearch"elasticsearch:image: elasticsearch/elasticsearch-oss:7.6.2environment:- 'node.name=HEYJUDE'- 'discovery.type=single-node'- 'bootstrap.memory_lock=true'- 'ES_JAVA_OPTS=-Xms256m -Xmx256m'ports:- 9200:9200- 9300:9300volumes:- ./elasticsearch:/usr/share/elasticsearch/datanetwork_mode: "bridge"kibana:image: kibana/kibana-oss:7.5.0-eaports:- 5601:5601volumes:- ./kibana/config/kibana.yml:/usr/share/kibana/config/kibana.ymlnetwork_mode: "bridge"links:- "elasticsearch"- "elastalert"fluentd:image: fluent/fluentd:v1.4.2-2.0-esports:- 24224:24224- 24224:24224/udpvolumes:- ./fluentd/etc:/fluentd/etcnetwork_mode: "bridge"links:- "elasticsearch"networks:default:external:name: bridge

kibana服务增加配置项如下：

# cat kibana/config/kibana.yml
#
# ** THIS IS AN AUTO-GENERATED FILE **
## Default Kibana configuration for docker target
server.name: kibana
server.host: "0"
elasticsearch.hosts: [ "http://elasticsearch:9200" ]
elastalert-kibana-plugin.serverHost: elastalert
elastalert-kibana-plugin.serverPort: 3030

alerta使用的是npgstack中的服务alerta。

elastalert测试告警规则

配置测试告警规则如下：

es_host: elasticsearch
es_port: 9200
name: test
type: frequency
index: fluent*
num_events: 5
timeframe:hours: 6
filter:
- term:log: "error"
alert:- alerta
alerta_api_url: "http://192.168.122.61:8889/api/alert"
alerta_api_key: "BU0SYnGHu9_1qEiWM12rXP7yMAZkFldWcupRIU7x"
alerta_text: "error in log"
alerta_value: "error"
alerta_event: "error_log"

告警规则表明，如果6小时内es中索引为fluent*的log字段出现error信息达到5次，则触发一个告警到alerta中。

告警类型：frequency，

alerta显示界面配置：alerta_text，alerta_value，alerta_event。

其他的配置项容易理解。

在alerta界面看到的告警信息。

efk-elastalert-alerta集中日志自动告警相关推荐

AZURE 日志分析自动告警
小伙伴们好久不见,今天我们来聊聊中国 AZURE 的日志分析告警.为什么是中国 AZURE,目前中国 AZURE 的 Monitor 服务和运维相关周围服务和 Global 是有所不同的,所以有些功能 ...
Kippo蜜罐的部署、诱捕节点的搭建以及自动告警
Kippo是一个中等交互的SSH蜜罐,提供了一个可供攻击者操作的shell,攻击者可以通过SSH登录蜜罐,并做一些常见的命令操作. 当攻击者拿下一台服务器的权限后,很可能会进行小范围的端口探测或者批量 ...
Kubernetes-基于EFK进行统一的日志管理
1.统一日志管理的整体方案通过应用和系统日志可以了解Kubernetes集群内所发生的事情,对于调试问题和监视集群活动来说日志非常有用.对于大部分的应用来说,都会具有某种日志机制.因此,大多数容器引 ...
日志和告警数据挖掘经验谈——利用日志相似度进行聚类，利用时间进行关联分析...
摘自:http://www.36dsj.com/archives/75208 最近参与了了一个日志和告警的数据挖掘项目,里面用到的一些思路在这里和大家做一个分享. 项目的需求是收集的客户系统一个月30 ...
SQL Server 为什么事务日志自动增长会降低你的性能
原文地址:点击打开链接在这篇文章里,我想详细谈下为什么你要避免事务日志(Transaction Log)上的自动增长操作(Auto Growth operations).很多运行的数据库服务器,对于 ...
SQL Server中事务日志自动增长对性能的影响
SQL Server中事务日志自动增长对性能的影响 SQL Server中事务日志自动增长对性能的影响(上) SQL Server中事务日志自动增长对性能的影响(下) posted on 2011-0 ...
日志和告警数据挖掘经验谈
最近参与了了一个日志和告警的数据挖掘项目,里面用到的一些思路在这里和大家做一个分享. 项目的需求是收集的客户系统一个月300G左右的的日志和告警数据做一个整理,主要是归类(Grouping)和关联(C ...
为什么事务日志自动增长会降低你的性能
在这篇文章里,我想详细谈下为什么你要避免事务日志(Transaction Log)上的自动增长操作(Auto Growth operations).很多运行的数据库服务器,对于事务日志,用的都是默认的 ...
idea做一个日志自动生成的jar包，并用flume做生产者，采集日志数据，用kafka做消费者来消费日志数据
前提:先将四台机器的zookeeper和kafka服务开启. 小任务:先准备好日志自动生成的jar包.并将其放入虚拟机master01中. 1.新建一个maven项目,命名为logmaker. pom ...

efk-elastalert-alerta集中日志自动告警

组成

部署

elastalert测试告警规则

efk-elastalert-alerta集中日志自动告警相关推荐

最新文章

热门文章