大数据实时案例--实时日志监控告警系统

本次介绍使用Flume+kafka+storm+mysql的实时日志监控告警系统，代码部分比较多，会放在一个下载的连接里面，可以免费下载。

需求

在软件开发中国，上线运行时经常会出现一些报错，但是我们如果不能进行有效的实时监控，及时的处理，经常会带来巨大损失。为了保证异常的即使处理，我们设计一套系统，对产生的日志进行实时的监控，放出现异常或者指定的信息的时候，给我们的对应工作人员发送邮件和短信提醒，同时记录异常的信息。做到线上异常的实时监控。

基本框架

基本的框架是：Flume+kafka+storm+redis

flume各个模块的功能订单，支付，用户系统
kafka集群数据量,预估容量，topic数量，system-log 六个分区，两个副本
storm消费数据，得到每条数据和AppId，判断每条消息是否包含关键字（比如error来源为数据库）如果包含错误信息，系统预警，短信或者邮件（数据库需要存入的信息）将触发的信息存入数据库。
web页面（读取和写入数据库信息）需要有一下的功能
- 添加异常的关键词
- 添加用户的信息
- 查询触发信息规格

开发步骤

创建数据库表结构

用户表，应用程序表，规则表，结果表四张表
1.在虚拟机（nodel01），安装mysql，启动。

启动mysql
service mysqld start
进入mysql
mysql -u root -p   然后输入密码

创建上面的6个表。简单介绍表的字段
规则表，每个应用系统要监控哪些规则

结果表：用来保存触发规则后的记录，包括告警编号、是否短信告知、是否邮件告知、告警明细等信息。

Flume+Kafka整合

启动kafka和zookeeper
编写Flume模拟生成的异常信息，需要下面4个文件

大数据实时案例--实时日志监控告警系统相关推荐

大数据舆情分析软件实时监控，TOOM大数据处理与舆情监控简介
舆情数据分析处理是指通过使用大数据技术.人工智能.自然语言处理等,从舆情数据中提取信息,进行模型建立.模式识别.情感分析等,从而了解舆论情况.舆情数据分析处理的目的是了解舆论趋势.话题热点.网民情绪等 ...
Android IOS WebRTC 音视频开发总结（六二）-- 大数据解密国外实时通讯行业开发现状...
Android IOS WebRTC 音视频开发总结(六二)-- 大数据解密国外实时通讯行业开发现状本文主要介绍国外实时通讯行业现状,文章最早发表在我们的微信公众号上,详见这里,欢迎关注微信公众号b ...
从0-1构建全民直播大数据平台和实时护航
在2018年云栖大会·上海峰会的阿里云支持与服务专场中,全民直播大数据架构师朱益为我们带来从0-1构建全民直播大数据平台和实时护航方面的实战经验.通过分析当前直播平台面临的挑战来详细的讲解大数据平台的 ...
喜讯丨神策数据四大客户案例斩获大数据“星河”案例
为进一步加快培育数据要素市场.充分发挥数据作为生产要素的独特价值,中国信息通信研究院.中国通信标准化协会大数据技术标准推进委员会(CCSA TC601)共同组织了大数据"星河(Galaxy) ...
阿里云ACE共创空间——大数据方案体验1 日志服务
阿里云ACE共创空间--大数据方案体验1 日志服务从阿里云官方文档介绍中,可以看到Log service日志服务主要包含三部分的内容: 1. 实时采集与消费LogHub 2. 查询分析Search/ ...
大数据时代的全能日志分析专家--Splunk安装与实践
大数据时代的全能日志分析专家 --Splunk安装与实践 0.背景随着大家对网络安全意识的提高,企业网管理人员,必须对IT基础设置进行监控及安全事件的管理,管理数据的数量和种类非常巨大,那么就需 ...
2017最新总结政府大数据应用案例及启示
在我国,政府部门掌握着全社会量最大.最核心的数据.以往地方政府提振经济一般是招房地产.工厂等,随着土地及人口红利殆尽,大数据成为与水电煤等一样重要的生产资料,成为继土地之后政府最重要的资产.了解政府大 ...
60.大数据之旅——电信日志项目03
zookeeper概述官方网址:http://zookeeper.apache.org/ What is ZooKeeper? ZooKeeper is a centralized service ...
从大数据应用案例中理解大数据的应用价值
现在的社会是一个高速发展的社会,科技发达,信息流通,人们之间的交流越来越密切,生活也越来越方便,大数据就是这个高科技时代的产物. 阿里巴巴创办人马云来台演讲中就提到,未来的时代将不是IT时代,而是DT ...