成都大数据技术学习:饿了么元数据管理实践之路
一、背景
大数据挑战
大数据时代,饿了么面临数据管理、数据使用、数据问题等多重挑战。具体可以参考下图:
数据问题:多种执行、存储引擎,分钟、小时、天级的任务调度,怎样梳理数据的时间线变化?
数据使用:任务、表、列、指标等数据,如何进行检索、复用、清理、热度Top计算?
数据管理:怎样对表、列、指标等进行权限控制、任务治理以及上下游依赖影响分析?
元数据定义与价值
元数据打通数据源、数据仓库、数据应用,记录了数据从产生到消费的完整链路。它包含静态的表、列、分区信息(也就是MetaStore);动态的任务、表依赖映射关系;数据仓库的模型定义、数据生命周期;以及ETL任务调度信息、输入输出等。
元数据是数据管理、数据内容、数据应用的基础。例如可以利用元数据构建任务、表、列、用户之间的数据图谱;构建任务DAG依赖关系,编排任务执行序列;构建任务画像,进行任务质量治理;数据分析时,使用数据图谱进行字典检索;根据表名查看表详情,以及每张表的来源、去向,每个字段的加工逻辑;提供个人或BU的资产管理、计算资源消耗概览等。
开源解决方案
WhereHows是LinkedIn开源的元数据治理方案。Azkaban调度器抓取job执行日志,也就是Hadoop的JobHistory,Log Parser后保存DB,并提供REST查询。WhereHows太重,需要部署Azkaban等调度器,以及只支持表血缘,功能局限。
Atlas是Apache开源的元数据治理方案。Hook执行中采集数据(比如HiveHook),发送Kafka,消费Kafka数据,生成Relation关系保存图数据库Titan,并提供REST接口查询功能,支持表血缘,列级支持不完善。
二、饿了么元数据系统架构
DB保存任务的SQL数据、任务基础信息、执行引擎上下文信息;
Extract循环抽取SQL并解析成表、列级血缘Lineage;
DataSet包含Lineage关系数据+任务信息+引擎上下文;
将DataSet数据集保存到Neo4j,并提供关系查询;保存ES,提供表、字段等信息检索。
SQL埋点与采集
饿了么的SQL数据,以执行中采集为主+保存前submit为辅。因为任务的SQL可能包含一些时间变量,比如dt、hour,以及任务可能是天调度、小时调度。执行中采集SQL实时性更高,也更容易处理。
EDW是饿了么的调度系统,类比开源的AirFlow。调度系统执行任务,并将任务相关的信息,比如appId、jobId、owner、SQL等信息存入DB。
计算引擎实现相关的监听接口,比如Hive实现Execute With Hook Context接口;Spark实现Spark Listener接口;Presto实现Event Listener接口。将计算引擎相关的上下文Context、元数据MetaData、统计Statistics等信息存入DB。
SQL解析
解析SQL的方案,以Hive为例。先定义词法规则和语法规则文件,然后使用Antlr实现SQL的词法和语法解析,生成AST语法树,遍历AST语法树完成后续操作。
但对于SELECT *、CTAS等操作,直接遍历AST,不去获取Schema信息来检查表名、列名,就无法判定SQL的正确性,导致数据污染。
综上所述,饿了么的SQL解析方案,直接参考Hive的底层源码实现。
以本土做简单示例,先经过Semantic Analyzer Factory类进行语法分析,再根据Schema生成执行计划QueryPlan。关于表、列的血缘,可以从LineageInfo、LineageLogger类中获得解决方案。
当然,你需要针对部分类型SQL设置Hive Conf,比如“开启动态分区非严格模式”。对于CTAS类型,需要设置Context。UDF函数需要修改部分Hive源码,避免UDF Registry检查。
饿了么解析血缘的SQL支持的操作有:Query(包含selectinsert intoinsert overwrite)、CreateTable、CreateTableAsSelect、DropTable、CreateView、AlterView。基本覆盖饿了么生产环境99%+的SQL语法。
举个栗子
举个栗子,根据上面的SQL,分别产生表、列血缘结构。
input是表、列输入值;output是表、列输出值;operation代表操作类型。比如表A+B通过insert,生成表C,则延展成A insert C; B insert C。
列式也一样:
input:name,
operation: coalesce(name, count(id)),
output: lineage_name;
input: id,
operation: coalesce(name, count(id)),
output:lineage_name
表血缘结构
列血缘结构
图存储
有了input、operation、output关系,将input、output保存为图节点,operation保存为图边。图数据库选用Gremlin+Neo4j。
Gremlin是图语言,存储实现方案比较多,Cypher查询不太直观,且只能Neo4j使用。社区版Neo4j只能单机跑,我们正在测试OrientDB。
三、饿了么部分使用场景
下面是饿了么在元数据应用上的部分场景:
静态的Hive MetaStore表,比如DBS、TBLS、SDS、COLUMNS_V2、TABLE_PARAMS、PARTITIONS,保存表、字段、分区、Owner等基础信息,便于表、字段的信息检索功能。
提供动态的表依赖血缘关系查询。节点是表基础信息,节点之间的边是Operation信息,同时附加任务执行Id、执行时间等属性。列血缘结构展示等同表血缘结构。
根据SQL的input、output构建表的依赖关系,进一步构建任务的DAG依赖结构。可以对任务进行DAG调度,重新编排任务执行序列。
Q & A
Q1:咱们的数据生命周期是如何管理的,能具体说下吗?
A:表级数据进行热度分析,比如近三个月没人访问,是否可以下线,特别是一些临时表 需要定时清理。
Q2:质量监控会影响到任务调度编排么?
A:会影响质量编排,构建DAG依赖执行。
Q3:把从SQL中的埋点数据存储到MySQL中,是如何规划的?这些埋点信息不应该像是日志数据一样被处理吗?存储在MySQL中是有自增全局ID的么?还是说你们是对任务和表分别有MySQL表,然后更新MySQL表中任务和表甚至列的信息么?这里的MySQL表就是您说的DataSet么?
A:任务jobid进行唯一,MySQL只保存执行的SQL,以及任务本身的信息,比如owner time jobid等等。
Q4:当前的支持非SQL形式生成表么?比如直接用Spark RDD任务或者Spark MLlib任务取表和生成表?
A:只支持SQL表达。
Q5:你们是怎么做热度分析的?刚才的讲解里,这个点讲得比较少。
A:任务操作的SQL产生input output表,对表进行counter就能top counter,列也一样。
Q6:你们管理的表分线上表和线下表么?在处理的时候用到了一些临时表该怎么处理?
A:对的,线上还是线下,任务调度系统埋点,临时表根据temp就知道了。
Q7:数据血缘关系如果使用Hive hook方式获取,是需要在每个执行节点中做捕捉吗?
A:Hive hook就是执行时调用,可以去了解下底层。
Q8:解析那种复杂度很高的HQL的血缘,你们平台的解析思路是什么样子的?如何保证正确率呢?
A:会有很多复杂的ppt有代码示例,会有部分SQL需要修改Hive解析实现。
Q9:表血缘图里面的上下级关系就是数据的流向?从上到下?字段的血缘是什么样子的跟表的血缘有什么不同?有字段的血缘图吗?
A:ppt里解析那里可以看到,字段也一样,input output列然后operation
Q10:SQL埋点,引擎埋点,是要去重写Hive等的源码吗?
A:重写倒不至于,只要实现ppt里的接口,很简单。
成都大数据技术学习:饿了么元数据管理实践之路相关推荐
- 【元数据】饿了么元数据管理实践之路
一.背景 大数据挑战 大数据时代,饿了么面临数据管理.数据使用.数据问题等多重挑战.具体可以参考下图: **数据问题:**多种执行.存储引擎,分钟.小时.天级的任务调度,怎样梳理数据的时间线变化? * ...
- 大数据技术 学习之旅_数据-数据科学之旅的起点
大数据技术 学习之旅 什么是数据科学? (What is Data Science?) The interesting thing about Data Science is that it is a ...
- 大数据技术 学习之旅_为什么聚焦是您数据科学之旅的关键
大数据技术 学习之旅 David Robinson, a data scientist, has said the following quotes: 数据科学家David Robinson曾说过以下 ...
- 大数据技术 学习之旅_如何开始您的数据科学之旅?
大数据技术 学习之旅 Machine Learning seems to be fascinating to a lot of beginners but they often get lost in ...
- [XW大数据技术学习探讨] 公众号学习笔记
[XW大数据技术学习探讨] 公众号学习笔记 一.前言: 博主是某学校大数据专业大二的学生,我们专业的老师XW为了更好的帮助我们学习大数据技术,建立了微信公众号"XW大数据技术学习探讨&quo ...
- 大数据技术学习路线指南
大数据技术作为决策神器,日益在社会治理和企业管理中起到不容忽视的作用,美国,欧盟都已经将大数据研究和使用列入国家发展的战略,类似谷歌,微软,百度,亚马逊等巨型企业也同样把大数据技术视为生命线以及未来发 ...
- ssm大数据技术学习网0y331【独家源码】 应对计算机毕业设计困难的解决方案
本项目包含程序+源码+数据库+LW+调试部署环境,文末可获取一份本项目的java源码和数据库参考. 系统的选题背景和意义 选题背景: 随着信息技术的快速发展和互联网的普及,大数据技术在各个领域中扮演着 ...
- 大数据技术学习路线,有信心能坚持学习的朋友,从现在开始吧
如果你看完有信心能坚持学习的话,那就当下开始行动吧! 推荐下我自己建的大数据学习交流群:199427210,群里都是学大数据开发的,如果你正在学习大数据 ,小编欢迎你加入,大家都是软件开发党,不定期分 ...
- 大数据学习路线图 让你精准掌握大数据技术学习
大数据指不用随机分析法这样捷径,而采用所有数据进行分析处理的方法.互联网时代每个企业每天都要产生庞大的数据,对数据进行储存,对有效的数据进行挖掘分析并应用需要依赖于大数据开发,大数据开发课程采用真实商 ...
最新文章
- Android maps应用
- (转)线段树的区间更新
- .sql文件如何执行_Excel如何运行可执行文件,别急,用过vba Shell函数的都知道
- 皮肤可配置化:变量、样式分离
- java前沿技术_互联网百强企业架构师告诉你,Java应该这么学!云和数据超全面Java中级程序员学习路线图重磅发布!...
- mysql中用户线程作用,mysql用户线程的建立与用户线程的状态源码解析
- 用脚本整理Leetcode题解
- 自动测试容易失败?这5个原因你值得反思!
- JavaScript循环结构(1)
- python @的作用
- paip.php 配置ZEND DEBUGGER 断点调试for cli..
- linux设备驱动程序之时钟管理
- oracle 12cora 03113,Oracle12.2 ORA-03113
- 重庆理工大学c语言实验答案,重庆理工大学C语言实验答案.doc
- PCL包围盒(详细介绍)
- 瀚高数据库分页SQL写法
- 冯·米塞斯迭代法(Von Mises iteration)
- centos7上安装Crucible教程及出现问题的解决
- 《云原生入门级开发者认证》学习笔记之云原生架构总览
- TSNAdb:肿瘤新抗原数据库
热门文章
- kingston 101 金鼠U 盘 密码盘 显示不了 问题 [转] 留做记忆
- 计算机语言输入不见了,win7右下角的输入法图标不见_右下角的输入法没了_右下角的语言栏不见了的解决方法...
- kafkatool 配置_docker 搭建kafka,使用kafka-tool连接kafka
- 鸡米过河matlab程序,万能解题套路——人,狗,鸡,米过河问题为例
- 数字电子技术实验作业(10)
- Mawi DNA Technologies的样本采集产品组合获得CE认证
- cscope精准查看linux函数调用,linux下使用 vim + cscope 查看代码
- ip后面的斜杠24是什么意思?(/24)(子网掩码)(32位中的前24位为1,即255.255.255.0,用二进制表示为:11111111.11111111.11111111.00000000)
- WIN11 CH340驱动配置
- Veins/OMNeT/SUMO:TraCI的getRoadId()方法不能判断junction