业务巡检系统的整体设计和数据流程
这是学习笔记的第 1789篇文章
近期也总结了几篇关于巡检的内容，很多同学也很期待，说业务巡检是一个新概念，想做成什么样子，或者说怎么样做起来更好一些。
最近的几篇文章：
在这个基础上，我自己也梳理了不少方面的内容，其实发起做这个事情，脑子里面已经有一个基本的框架了，随着各方面准备的情况，我觉得可以把巡检方向的事情排一个整体的数据流程图了。
巡检模块的整体设计是分了三类：系统层，数据库层，业务层，其中系统层的数据根据优先级拆分为了系统监控层和系统信息层。
整体来说，巡检的底层是大量依赖于任务调度来实现。任务调度采用了celery来对接完成，期望实现定时任务和异步任务两种触发模式，队列使用了Redis.
而里面相对重要的部分是OpenTSDB，这是基于HBase的计算层，能够通过OpenTSDB实现两类重要需求：
数据聚合和统计，这也是时序数据库擅长的方向
历史数据可再生提取，因为在时序中存储了大量的历史数据，如果要提取历史范围内的数据，通过OpenTSDB是一种比较快捷的方式
在这个基础上，借助于任务调度，我们来定时触发，比如每个小时生成一个快照数据，基于这个快照数据是状态值，代表里一个时间周期内的变化情况，数据可以通过提取持久化到MySQL
所以对于业务巡检来说，首先提取的数据是从MySQL中得到的，如果要自定义提取时间范围和维度，可以再从OpenTSDB获得渲染到可视化方案中。
此外还有一类重要的巡检任务信息是可以支持在线检查的方式，是需要通过服务接口访问到指定的数据库中查取相应的数据字典信息实时获得，当然这部分信息可以根据一些指定的维度来下沉到MySQL中。
以上的任务提取的内容都可以设定相应的额维度和阈值，来通过这些信息来触发生成相应的任务。
业务巡检系统的整体设计和数据流程相关推荐
- 系统及服务器巡检流程图,业务巡检系统的整体设计和数据流程
这是学习笔记的第1789篇文章 近期也总结了几篇关于巡检的内容,很多同学也很期待,说业务巡检是一个新概念,想做成什么样子,或者说怎么样做起来更好一些. 最近的几篇文章: 在这个基础上,我自己也梳理了不 ...
- 架构设计-支付宝、京东、美团、去哪儿的支付系统架构整体设计详解！！！
架构设计-支付宝.京东.美团.去哪儿的支付系统架构整体设计详解!!! 支付产品模块是按照支付场景来为业务方提供支付服务.这个模块一般位于支付网关之后,支付渠道之前. 它根据支付能力将不同的支付渠道封装 ...
- ibatis源码学习(一)整体设计和核心流程
本文主要从ibatis框架的基本代码骨架进行切入,理解ibatis框架的整体设计思路,各组件的实现细节将在后文进行分析. [b][size=large]背景[/size][/b] 介绍ibatis实现 ...
- 制药企业BI系统方案整体设计分享
制药企业全面预算系统蓝图 全面掌控企业的各种业务活动,及时准确的展现它们的状况与趋势,评估其达成的效果.存在的问题与风险.支持数据的导入,多级上报等多种特色功能,同时通过统一的报表平台实现精细话的权限 ...
- 业务巡检-系统巡检该怎么做
这是学习笔记的第 1966 篇文章 系统巡检是对于服务巡检的第一站,所以在这里我们要做好第一班岗,如果系统巡检稀里糊涂,那么后续的数据库服务巡检效果也会大打折扣. 对于系统巡检整体上有如下的一些部分需 ...
- spring催办业务_业务后台系统之流程设计
上周在<业务后台系统之权限设计>中总结了自己在最近一个后台业务系统项目中的后台产品设计经验,本篇继续总结完后台设计三大内容中的流程设计. 首先,需要明确工作流联盟(WFMC)对工作流的定义 ...
- 华微电力智能巡检系统帮助广州供电局成倍提高输电线路巡检的效率和质量
解决方案概要 客户名称:广州供电局 客户简介: 广州供电局是中国南方电网广东电网公司的下属子公司.广州供电局输电部管理着华南地区最庞大的输电网络,包括线路170多条.杆塔7600多基. 广州供电局的信 ...
- 详解数据血缘的「整体设计」与「评价方案」
数据血缘描述了数据的来源和去向,以及数据在多个处理过程中的转换.数据血缘是组织内使数据发挥价值的重要基础能力.本文从字节的数据链路概况开始,介绍了数据血缘在字节的应用场景,总体设计,数据模型以及衡量指 ...
- 智能水位检测系统proteus_基于单片机控制的智能检测系统Proteus仿真设计研究
0引言近年来,单片机发展到了一个全新阶段,广泛应用于电子.机械控制.自动化生产设计等行业,并逐步延伸到智能控制的诸多领域.以单片机为控制核心的小型自动化生产检测系统,尤其在一些液体产品的检测等复杂工程 ...
最新文章
- 达内——java变量
- Numpy、Scipy、matplotlib、scikit-learn等常用学习链接
- 互联网1分钟 |1204
- 使用webpack配置react并添加到flask应用
- 亚马逊云服务（AWS）中国与毕马威中国建立战略合作伙伴关系
- java ee junit_JavaEE——Junit
- 梯度下降法参数更新公式的推导
- 八数码宽度优先搜索python代码_图之遍历--广度优先遍历
- TrackBar问题，有高人能解决吗？
- 微控制器实验计算机组成原理,计算机组成原理（西安理工大学）实验二cpth模型机综合实验——微控制器实验.doc...
- 安捷伦or是德信号源+频谱仪操作： 从程控到自动测试 （五）频谱仪截屏到U盘的程控实现
- Python制作个人动漫头像（简化版）
- 我的世界空岛生存服务器制作,我的世界Wishing服务器-RPG丨空岛丨生存丨[1.12.2-1.16.1]...
- 1.名词(noun)
- 程序员都在哪些平台写技术博客？
- 随机过程（一）：泊松过程的详细理解
- JAVA与C语言的区别之我见
- java.lang.IllegalStateException: Did you forget to call 'public void setup(LocalActivityManager acti
- Eclipse+ GNU ARM Eclipse Plug-in+ Sourcery G++ Lite Edition for ARM+OPENCD+Jlink
- Flutter 平移动画 — 4种实现方式