数据中台之血缘篇：Atlas 详解

一. 简介

1. 概述

Atlas 是一个可伸缩且功能丰富的数据管理系统，深度集成了 Hadoop 大数据组件。简单理解就是一个跟 Hadoop 关系紧密的，可以用来做元数据管理的一个系统,整个结构图如下所示

官网: https://www.cloudera.com/products/open-source/apache-hadoop/apache-atlas.html
http://atlas.apache.org/#/

为组织提供开放式元数据管理和治理功能，用以构建数据资产目录，对这些资产进行分类和管理，并未数据分析和数据治理团队，提供围绕这些数据资产的协作功能

ods,dwd,dws,ads
1.表与表之间的血缘依赖
2.表与表之间字段间的血缘依赖

2. 数据管理

数据字典

对资产进行分类和管理
包含对所有库和表字段的表述
血缘追溯
表的追索和表字段的追索

3. 数据治理

数据安全
-Ranger ->Hive
权限控制，数据脱敏
数据质量
-Shell + HQL ,Griffin
期望+使用预期
数据完整性
数据一致性
数据不重复性
元数据管理
-Atlas

4. Atlas 架构

数据中台之血缘篇：Atlas 详解相关推荐

2022美亚杯第八届中国电子数据取证大赛-个人赛write up详解，软件就用弘连和美亚，尽量写的细致一点。建议入门看，仅为了解题，没有专业精神。专业选手去看后面推荐的两篇解析，都是大佬。
建议新手看我的博客,比较简单粗暴,解题率较低,仅仅是为了比赛,入门的同学可以看看.我的水平还很糟糕,之后会努力学习,所以这篇博客也会不断修改完善.博客还有很多不当之处,如有发现不当之处请私信我,我会做 ...
机器学习第五篇：详解决策树-CART算法
01|前言: 本篇接着上一篇决策树详解,CART是英文"classification and regression tree"的缩写,翻译过来是分类与回归树,与前面说到的ID3.C ...
2篇CIKM详解阿里妈妈搜索广告CTR模型如何低碳瘦身
作为<阿里妈妈搜索广告CTR模型的"瘦身"之路>的姊妹篇,本文将结合团队发表的 CIKM 2021 两篇论文,详解我们在模型瘦身之路上的延续性思考与实践.姊妹篇已经总结 ...
清理localstorage_vue 界面刷新数据被清除 localStorage的使用详解
localStorage是html5新增的一个本地存储API,它有5M的大小空间,通过(key,value)的方式存储在浏览器中 window.localStorage.setItem('key', ...
【高级篇】详解Zookeeper客户端Curator
一.序言之前分享过一篇关于Curotor的基本应用[基础篇]详解Zookeeper客户端Curator,如果对Curator没有了解的可以看看,本文分享关于Curator的一些高级特性,在监听和le ...
【基础篇】详解Zookeeper客户端Curator
一.前言 Zookeeper被广泛应用于分布式环境下各种应用程序的协调,而Curator无疑是Zookeeper客户端中的瑞士军刀,解决了很多Zookeeper客户端非常底层的细节开发工作,包括连接重 ...
Mysql高手系列 - 第8篇：详解排序和分页(order by limit)，及存在的坑
这是Mysql系列第8篇. 环境:mysql5.7.25,cmd命令中进行演示. 代码中被[]包含的表示可选,|符号分开的表示可选其一. 本章内容详解排序查询详解limit limit存在的坑分 ...
玩转Mysql系列 - 第8篇：详解排序和分页(order by limit)，及存在的坑
打算提升sql技能的,可以加我微信itsoku,带你成为sql高手. 这是Mysql系列第8篇. 环境:mysql5.7.25,cmd命令中进行演示. 代码中被[]包含的表示可选,|符号分开的表示可选 ...
图解大数据 | 分布式平台Hadoop与Map-Reduce详解
作者:韩信子@ShowMeAI 教程地址:https://www.showmeai.tech/tutorials/84 本文地址:https://www.showmeai.tech/article-d ...
layui数据表格解析html,layui框架table 数据表格的方法级渲染详解
layui框架table 数据表格的方法级渲染详解如下所示: //js 规范书写 var tst=table.render({ elem: '#test11' ,cols: [[ //标题栏 {ch ...