最初建立这套系统的目的：
  1. 每天要看N多业务指标，只恨一双眼睛不够用，经常有些关键业务指标没有及时发现。波动拐点已经过了几天了，才发现下降或上升了。
  2. 接口波动监控全覆盖，无需设定预设阈值。现在有1500左右的接口，使用预设静态阈值的方式，维护和管理阈值的得花多少心思。在AI再崛起的时刻，咱们在监控方面也搞点稍微有点科技含量的、能提高工作效率的事情。
因此有一个最低的原则——最大限度的减少人工干预的程度，除了
采集模块——设定采集任务；
监控模块——设定监控分组；
       其它都是通过业务流和维护模块自己保证数据在各模块间正常的流转。同时 采集任务和监控任务也支持后台数据库快速配置。
 
       我们的目标不单完成了，而且还可以通过全覆盖的监控，让我们：
  1. 大大小小的不稳定问题全部都暴露出来了。不在像以前一些问题，没有用户反馈，不知道，更没人处理的情况。现在监控敏感度设定的比较低，待优化后，可以逐渐提高监控敏感度。
  2. 对系统有一个整体上的数据上的认知，而不是之前感官上的认知，因此有了——数据报告这个模块。
 
 
框架结构
 
模块介绍：
       数据采集：从各种数据源，批量采集监控数据。目前支持mysql、es
       数据特征学习：
数据建模：将每天已30分钟为一段，分成48端。基于每一段进行数据特征学习，产生一个知识点。每个知识点包括：样本数据的集中趋势、离散趋势数据。
举例：下面是11/12日到27日  某接口在各时段平均10分钟的访问量，如果我们针对这一个指标只设定一个静态阈值，那显然是无法体现出来这种数据随着时段变化而变化的特征的。
      
       监控决策与告警通知：
              那最新的采集的数据与知识点做离散度对比，根据以下信息，决定是否发出告警，以及告警登记：
  1. 知识样本数据的离散程度
  2. 新数据相对于知识样本数据的离散程度
  3. 监控任务设定的敏感度
  4. 知识点无效、超级稳定等极端情况。
              附件是告警通知示例
 
       维护模块：
              新发现的到数据，什么时候开始知识学习？怎么补全历史数据进行知识学习？
              识别无效的历史监控数据？怎么清理出去？
 
       告警响应模块：（暂未实现）
              当前告警是否存在已设定的响应处理程序，存在，则激发响应程序。
              举例：假设我们已经识别出来坏人假冒客服的特征，告警响应模块收到该告警后，去执行添加封停动作。
 
       数据报表：
              通过全覆盖的监控，让我们对系统有一个整体上的数据上的认知，而不是之前感官上的认知。
              例如：“接口数据波动报告” 对最近各模块接口从访问量、错误量、超时量做汇总报告。
                            通过每周的对比，可以看到系统稳定性趋势。
                            思考一下，它为什么会存在大幅波动？是否可以优化？
                            如果信息量太大，可以先从接口超时入手。
             
              业务方面每周出关键业务指标长期（3月）趋势图，以免视野缩小，在短期走势（2周）内感觉不到长期趋势的变化。

基于机器学习的波动监控系统相关推荐

  1. 【基于机器学习的垃圾分类监控系统】

    基于机器学习的垃圾分类监控系统 一.摘要 abstract 正确处理厨余垃圾,可以有效地保护环境,并带来不错的经济效益.本文将机器学习运用到厨余垃圾的分类监控中,以识别混入其中的非厨余垃圾.本文在人工 ...

  2. 基于机器学习的车牌识别系统

    基于机器学习的车牌识别系统 本文设计的车牌处理系统主要用于通过手机.路口监视器拍到的车牌照片进行识别.由图像处理.车牌定位.字符分割和字符识别四个模块组成,该四部分需要依次执行,其中的每一模块需要利用 ...

  3. 基于机器学习的车牌识别系统（Python实现基于SVM支持向量机的车牌分类）

    基于机器学习的车牌识别系统(Python实现基于SVM支持向量机的车牌分类) 一.数据集说明 训练样本来自于github上的EasyPR的c++版本,包含一万三千多张数字及大写字母的图片以及三千多张中 ...

  4. Linux下基于qt的视频监控系统

    目录 一.原始需求 二.环境安装 2.1 qt安装 2.2 opencv安装 三.系统设计 3.1. 整体流程设计 3.2 .数据传输交互流程 3.3 .数据库设计 四.关键代码 4.1.如何实现通信 ...

  5. 基于微博的舆情监控系统 JAVA SSM MySQL

    10040_基于微博的舆情监控系统 技术 Spring + SpringMVC + MyBatis 工具 eclipse + tomact + mysql + jdk

  6. 基于IOCP的局域网监控系统

    作者:赖春红1 戚淮兵1 谭涛2 1.西华师范大学物理与电子信息学院   南充 637002 2.西华师范大学计算机学院               南充 637002 基于IOCP的局域网监控系统 ...

  7. 基于智能矿山电力监控系统的设计与应用方法

    摘要:随着煤矿建设的智能化程度越来越高,构建智能电力监控系统实现对矿山生产的有效监控至关重要.首先分析了矿山电力监控系统存在的主要问题,其次重点介绍了基于智能矿山电力监控系统的设计过程,后提出了加强智 ...

  8. （毕业设计资料）基于单片机智能输液器监控系统的设计

    026[毕设课设]基于单片机智能输液器监控系统的设计. 说明:基于单片机智能输液器监控系统的设计,目标滴速和设定滴速的调节通过使用PID算法,换页按钮可调节PID参数, 增加和减少分别在修改按钮按后进 ...

  9. 南瑞rt21系统服务器,南瑞“一种基于CORBA的综合监控系统数据定义和存取方法”等三项科技成果获专利授权...

    南瑞"一种基于CORBA的综合监控系统数据定义和存取方法"等三项科技成果获专利授权 北极星电力信息化网  来源:国网电科院    2012/5/22 9:24:13  我要投稿 北 ...

最新文章

  1. HTTP Status 400 -
  2. Oracle 9i/10g/11g数据库升级路线图总览
  3. 如何制作可以在 MaxCompute 上使用的 crcmod
  4. 额尔古纳的俄罗斯女孩
  5. 使用Puppeteer进行数据抓取(一)——安装和使用
  6. U-Boot源码目录分析(VScode工程创建及文件夹过滤)
  7. 关于ANTLR的通用库的需求：使用反射来构建元模型
  8. [渝粤教育] 西南科技大学 理论力学 在线考试复习资料
  9. layer.open 强化1
  10. 利用用户自己的server、tomcat下的解决iOS7.1企业应用无法安装应用程序 由于证书无效的问题...
  11. 【Linux】MySQL常用命令
  12. Linux编译安装Apache
  13. 车牌识别存储云服务器,云端（服务器）车牌识别技术
  14. 14-循环队列实现(C语言)
  15. ubuntu1804下txt文件乱码问题
  16. 颜色的前世今生14·RGB拾色器详解
  17. 在QQ远程协助为什么键盘无法输入？一起来学习！
  18. 关于VSCode编码：自动猜测编码字符集
  19. react-native设置应用启动页
  20. 这是50年前的一本关于30年前软件开发经验的书——《人月神话》读书笔记

热门文章

  1. 下一代微型计算机,全线7nm时代正式到来，要逼死Intel？
  2. 计算机专业大学生如何规划大学四年？
  3. LaTeX公式语法大全
  4. c#批量下载图片并存储到本地
  5. 如何手动配置python环境变量-简单方便-光速配置
  6. 六步解决“未找到服务器”问题
  7. c语言程序的书写格式,C语言程序书写格式
  8. 网站开发——旅游网项目（简单前后台实现）
  9. 流量卡之家：国内5G的火热只是炒作？事实上中国正在引领全球风潮
  10. ArrayList 复制