数据生命周期管理的初步实现

这是学习笔记的第 2013 篇文章

最近几天在整理数据生命周期的一些东东，也码了几篇文章。

开始的调研只是验证了这个可行性，当然也是想的过于乐观，导致在实现的时候翻车。

就好比我要榨果汁，本来是用火龙果和香蕉，最后实现的时候用的是草莓和香蕉，看上去颜色差别不大，但是口感差别很大。

我们首先来说下生命周期能干嘛，其实对于DBA来说，最大的好处就是数据的周期管理都可以一目了然，一切都在掌握之中，言外之意就是哪些流程计划外的变更我们都可以捕捉到，而数据也是在多维的交互中才产生了更丰富的业务含义，此外可以对整个数据环境的质量和变化可以做到整体的管理，比如我们可以通过这些数据分析得到有100张表，但是很长一段时间以来的数据变化之后20张，那么剩下的80张表就需要打个问号了。哪些数据是冷数据，哪些是热数据，哪些数据可能是已经不在维护的数据了，这些信息在没有产生连锁反应之前，是一种难以量化的状态，但是能够经过这种梳理和可视化的方式展示出来，从DBA的角度可以得到更加宏观的信息，对于数据质量的改进是一种可以看得到的改进。

而对于业务同学来说，这个模块的意义就在于可以得到一段时间以来的数据变化，我们设定一个场景，在数据流转中，源头是不需要关注目标端的数据消费情况的，那么如果上游的结构发生了变化，对于下游是很难以感知的，最直接的感知就是报错，而如果更加平滑一下，我们可以通过订阅或者指定的API来承接，让这个变化能够成为流程化的操作。

如下是一个初步的页面实现，我来简单解释一下，在这个基础上，我也整理了10多个改进的方案和建议。

左上角的图是DDL的次数，可以标识出整个实例的DDL变化情况，而接下来的那个图是一个数据的热度趋势图，比如数据库中有100张表，我们每隔30分钟抓取一个快照，如果有20张在快照抓取过程中始终出现，那么我们可以标记数据库的热度为20%。如果一个业务长期处于1%以下或者为0，我们可以基本断定是一个僵尸业务。

中间的表格是热度表的榜单，我们把热度最高的表整理出来（基于DML的变化频率），对热度打上标识，这样就可以明确的看到热度的一个整体分布了。右边的饼图需要持续调整，目前的设想是出现一个数据库画像，即把数据库的对象分布通过饼图展示出来。

对于每一条数据变化，我们都可以下钻，得到更加详细有效的信息。比如表结构信息和轨迹变化等。

数据生命周期管理的初步实现相关推荐

oracle12c生命周期,Oracle 12c 新特性之: ILM 数据生命周期管理
张乐奕云和恩墨副总经理,Oracle ACE总监,ACOUG 联合创始人 ILM 全称是 Information Lifecycle Management,意思是信息生命周期管理,听上去很高端洋气的 ...
Oracle 12c 新特性之: ILM 数据生命周期管理
张乐奕云和恩墨副总经理,Oracle ACE总监,ACOUG 联合创始人 ILM 全称是 Information Lifecycle Management,意思是信息生命周期管理,听上去很高端洋气的 ...
数据治理之数据生命周期管理
大数据业务系统,在运行过程中会产生大量历史数据,这些历史数据日积月累下来,除了增加集群的存储成本,也会影响大数据集群之上的应用系统的运行效率(因为整个大数据集群的hdfs, hive, hbase等存 ...
数据生命周期管理（Lifecycle Management）
概述: oracle的生命周期管理叫做Information Lifecycle Management(ILM) SQL server的生命周期管理叫做Database Lifecycle Manag ...
数据治理-数据生命周期管理-大数据归档与销毁
数据归档在大数据时代,存储成本显著降低的情况,企业希望在技术方案的能力范围之内尽量存储更多的数据.但大数据时代同样带来了数据的急剧增长,因此数据归档仍然是数据管理必须考虑的问题.与传统的数据备份和数 ...
数据治理-数据生命周期管理-大数据采集
大数据采集为满足企业或组织不同层次的管理与应用的需求,数据采集分为三个层次. 第一层次,业务电子化.为满足业务电子化的需求,实现业务流程的信息化记录,在本阶段中,主要实现对于手工单证的电子化存储,并 ...
热温冷冰，数据存储需要全生命周期管理
随着云计算.大数据等新兴应用广泛普及,业务数据呈现爆炸式增长,海量数据的高效访问.经济存储和智能管理变得越来越重要. 从数据生命周期来看,在数据刚生成并使用时,属于在线数据,在线数据访问的频率最高,数 ...
从数据备份保护到完整生命周期管理平台，爱数全新发布 AnyBackup Family 8
编辑 | 宋慧出品 | CSDN 云计算从2003年创业,开始做数据备份技术,爱数已经走过了近20年的时间.现在,数据的价值被越来越多的业界与用户看到,数据分析应用赛道近年一直持续火热.而现在的爱 ...
从全生命周期管理角度看大数据安全技术研究
从全生命周期管理角度看大数据安全技术研究李树栋1,2, 贾焰2, 吴晓波3, 李爱平2, 杨小东4, 赵大伟5 1. 广州大学网络空间先进技术研究院,广东广州 510006 2. 国防科技大学计算 ...

数据生命周期管理的初步实现

数据生命周期管理的初步实现相关推荐

最新文章

热门文章