什么是数据地图、血缘分析和数据资产?
这是我的第85篇原创
取名字是一门学问,理科生取名字的确让人难以捉摸。比如这个数据地图、血缘分析和数据资产。如果不是干数据这行的,根本不会想到这仨词居然有关系!
数据地图
数据地图是数据治理的重要功能之一。咱顾名思义一下,是不是就是数据的地图?是的!就是所有已经被管理好的数据的地图。这个地图主要解决以下几个问题:
1、平台有多少数据资源?
2、每个数据源有多少表、字段等?
3、这些表、字段里面都是啥情况?
4、我怎么能找到这些数据?
5、我怎么理解这些数据?
所以一般来说,数据地图里都应该有以下功能来解答上面的几个问题:
1、数据概览
2、元数据查看
3、数据预览
4、数据目录
5、数据检索
6、数据注释(元数据管理中)
7、血缘关系分析
以上功能名称可能不一样,但是解决的问题都是一样的。其核心就是为了告诉你,平台现在管理着那些数据呢。类似于公司的物资目录、台账。
这是阿里数据地图的概览页面,很模糊,看一个大概意思就行了。
血缘分析
血缘分析,又叫血统分析、血缘关系等,是数据治理的重要功能之一,一般都放在数据地图/数据管理模块下。
同样再顾名思义一下,那就是数据的儿子、爸爸、爷爷这个血缘的分析?对了!就是对数据的上下游进行来龙去脉的分析!血缘分析主要解答以下问题:
1、这个数据的数据源是哪儿?
2、这个数据的上游是哪个表?哪个字段?
3、这个数据的下游到那个表?那个字段?
4、这个数据的上下游任务是什么?有哪些任务依赖?
5、这个数据改动后可能造成的的影响有哪些?
所有血缘分析一般会有以下功能:
1、数据来源跟踪;
2、数据影响分析;
3、任务依赖分析;
4、报表影响分析;
同样,名称可能不一样,但是该解决的问题还是得解决的。其核心就是想知道这个数据/任务/报表的上下游关系,一旦想改这个数据结构/任务/指标/报表,会对上下游有哪些影响。类似于公司的流程图,可以看到这个事情上上下下都是哪个角色在负责,一旦调整,会有哪些角色/人会受到影响。同样,这是阿里的血缘关系的功能页面:
数据资产
这个词应该见的最多了。咱同样也顾名思义一下,就是公司的一种“数据”形态的资产。这个数据资产主要解答以下几个问题:
1、平台有多少可用的有价值的数据?
2、这些可用的有价值的数据都是啥?
3、用什么方式可以使用这些可用的有价值的数据?
4、怎么控制这些可用的有价值的数据的权限?
所以数据资产一般会有以下功能:
1、数据资产目录
2、数据资产查询、预览
3、数据资产权限申请
4、数据资产使用(API、订阅等)
数据资产好像跟数据地图很类似,但是都是看数据哈。但是你细品一下,区分还是很明显的,数据地图目的是了解数据的来龙去脉,数据资产关注的是有价值的数据是怎么用的,一个是面向生产过程,一个是面向结果使用,一个解决上下游依赖和影响,一个解决数据怎么产生价值。上面我把数据地图类比为公司的物资目录/台账,那数据资产就是当前可用物资列表。
当然啊,现在有些数据中台的产品为了支持庞大的数据资产管理,也会弄一个数据资产地图 ,方便资源的查找。
另外,现在越来越多的数据产品,把数据资产概念扩大化,囊括了数据地图,这个需要注意一下。这个还是阿里的产品,数据资产的功能页面:
--end--扫描下方二维码添加好友,备注【交流】
可私聊交流,也可进资源丰富学习群
什么是数据地图、血缘分析和数据资产?相关推荐
- 数据地图、血缘分析与数据资产 详解
数据地图 数据地图是数据治理的重要功能之一.顾名思义一下,是不是就是数据的地图?是的!就是所有已经被管理好的数据的地图.这个地图主要解决以下几个问题 : 1> 平台有多少数据资源? 2> ...
- 大数据可视化案例分析_Tableau数据可视化分析案例
0x00 Tableau简介 Tableau是一款定位于数据可视化敏捷开发和实现的商务智能展现工具,可用来实现交互的.可视化的分析和仪表盘应用. Tableau提供了体验感良好且易用的使用界面,在处理 ...
- gnocchi-采样数据存储流程分析(002)--数据的异步统计
1 数据的异步统计 在gnocchi的核心思想中,是通过后台的异步处理ceilometer发送过来的采样数据,然后根据存储策略定义的汇聚方式,对数据进行预处理.然后用户获取统计数据的时候,直接获取到对 ...
- 程序好思路分享 计算机毕业设计Hadoop+Spark交通大数据 地铁客流量分析大数据 数据仓库 大数据毕业设计 大数据毕设
简介 该项目主要分析深圳通刷卡数据,通过大数据技术来研究深圳地铁客运能力及探索优化服务的方向 主要讲解Flink流处理实时分析部分,离线部分较简单,暂时略过 项目流程 采用python请求深圳地铁数据 ...
- python爬高考数据_Python简单分析高考数据
下载W3Cschool手机App,0基础随时随地学编程 导语 不像考卷,现实生活中,有些事永远没有答案. 导语 2018年的高考已经过去了一周,热点也逐渐从高考转向了世界杯,不乐意当伪球迷的我还是选择 ...
- 大数据之-入门_大数据部门业务流程分析---大数据之hadoop工作笔记0006
回流用户数,就是二次消费,三次消费的..这样的. 可以看到上面就是大数据部门的业务流程 就是上面这样了.产品人员,提需求,数据部门做数据,然后再进行数据可视化展示. 技术交流QQ群[JAVA,C++, ...
- python提取表里数据_python提取分析表格数据
#/bin/python3.4 # -*- coding: utf-8 -*- import xlrd def open_excel(file="file.xls"): try: ...
- 下一个风口-基于数据湖架构下的数据治理
前言 随着大数据.人工智能.云计算.物联网等数字化技术的普及和广泛应用,传统的数据仓库模式,在快速发展的企业面前已然显的力不从心.数据湖,是可以容纳大量的原始数据的存储库和处理系统,已经成为企业应用大 ...
- 数仓治理:数据地图长什么样?
大家好,我是一哥,最近在做数据治理相关的工作,说下数据治理里面很重要的一块,同时也可以作为数据治理的一个成果-数据地图. 图:来自亿信 文章分为以下四个部分: 1. 背景 2. 数据地图需要解决的问题 ...
- 建立数据地图,让数据资产“活”起来
当今世界,数字经济蓬勃兴起,正深刻改变我们的社会生活.在日常生活中,大家的手机上都会安装了一个手机地图app.在地图上我们根据出行的需求,通过路线规划能够快速获取最便捷的交通方式.与此同时,还可以根据 ...
最新文章
- 为python安装numpy和scipy(federo)
- Java基础-JAVA中常见的数据结构介绍
- python源代码-python源码
- P2597 [ZJOI2012]灾难(top+lca)
- python基础(part17)--函数式编程
- 获得jmp esp地址
- [转] 一文弄懂神经网络中的反向传播法——BackPropagation
- 别担心!人工智能不会抢你的工作
- linux一个进程打印10次,如何发现linux中引起高io等待的进程
- gxworks2使用指令手册_三菱编程软件 GX Works2 操作手册简单工程篇中文高清版
- bdd java_二元判断图BDD及其JAVA实现的应用与研究
- LaTeX数学公式环境
- 紫光华宇拼音输入法V6 beta 3
- f分布表完整图a=0.01_c++多态和虚函数表实现原理 - 一字千金
- html5小球互相碰撞,HTML5相互碰撞散开的小球
- 审批流程设计方案-介绍(一)
- vue中组件之间调用方法——子组件调用父组件的方法 父组件调用子组件的方法
- android 键盘按下事件,Android虚拟键盘上下左右键按下和弹起的响应事件
- 电梯模拟 数据结构课设
- python日志级别