大数据平台数据仓库ETL基本思路

ETL工具

开源工具：

Sqoop：Hadoop（hive）和关系型数据库之间传输数据的开源ETL工具。

Beeline：hive客户端工具，基于SQLline的JDBC客户端

Azkaban：任务调度开源工具。

自开发工具：

脚本生成工具：jar包，基于系统调研时产生的表级调研文档，自动检索数据源并生成整体ETL工具中拥有较高规范的脚本文件的脚手架：ods层建表语句、sqoop脚本、sync脚本、flow脚本。必要时依据实际情况对脚本进行人工调整。
脚本执行工具：python程序，读取参数文件数据并替换脚本中的对应参数，执行脚本。
SQL执行工具：python程序，读取参数文件数据并替换脚本中的对应参数，执行脚本。
CTL参数生成工具：python程序，基于TDH-mysql库ctl控制表生成对应的参数文件。
互斥锁：依据azkaban中并发project的操作表情况，设计互斥锁避免并发操作同一张表的情况发生。
数据源检查：jar包，基于TDH-mysql库ctl表信息和数据源实际情况，检查数据源表结构变更情况，判断是否需人工介入，记录变更情况。
稽核工具:oracle-ods层数据抽取完整性、ods-dw层数据映射正确性稽核。人工开发脚本。

ETL开发过程

大数据平台新数据源加入，ETL开发过程：

数据调研：
1. 对数据源系统进行调研，输出系统调研文档、表级调研文档、字段级调研文档、数据字典等调研资料
脚本脚手架生成：
1. 确定大数据平台抽取范围（表+时间）、抽取方式（增量/全量）、抽取周期等。信息补充到表级调研文档
2. 脚本生成工具+表级调研文档—>生成各脚本程序的脚手架。细节及特殊情况进行人工调整。包括：ods层建表语句、sqoop脚本、sync脚本、azkaban调度脚本
3. Waterdrop下使用ods层建语句创建数据源ods层表结构：txtfile和orc表
4. Sqoop脚本及sync脚本拷贝到指定路径，调整或检查azkaban脚本
5. 上传azkaban脚本，检查任务逻辑
参数文件生成：
1. 配置TDH-mysql的ctl库相关表信息
2. 执行CTL参数生成工具生成对应数据源的参数文件
数据初始化：
1. 调整参数文件，使数据同步范围为全部时间（全量）
2. 执行azkaban任务，初始化数据到ods层
DW层脚本开发：
1. DW层表结构设计、关联关系设计、映射关系设计，形成dw层设计文档
2. DW层映射mapp脚本开发，形成sql脚本文件，拷贝到执行路径
3. DW层建表语句及TMP表建表语句存档
DW层部署：
1. 对DW层脚本进行血缘分析，生成依赖关系文档
2. 调整azkaban脚本文件，补充DW层任务调度
3. 按需设计互斥锁、调整相关代码补充锁机制
数据稽核：
1. 数据源检查程序初始化
2. 数据稽核脚本配置
3. 启动运行（调整azkaban脚本）

大数据学习——基于大数据平台的数据仓库ETL基本思路相关推荐

大数据学习笔记—大数据概论
大数据概论一. 大数据的概念二.大数据的特点(4V) 三. 大数据的应用场景四.大数据的发展前景五.大数据部门的业务流程/组织结构一. 大数据的概念大数据(big data),指无法在一定 ...
02云计算与大数据学习之大数据关键技术与应用
文章目录 1.应知应会 2.大数据总体框架架构设计原则总体架构特点 3.大数据存储技术 4.大数据处理技术大数据处理模式大数据处理Storm平台 5.大数据分析技术大数据分析特点大数据分析 ...
大数据学习系列----大数据项目的思考
2019独角兽企业重金招聘Python工程师标准>>> 最近做了一个大数据可视化的项目,目前阶段还仅仅对我们关心的指标做一些年度,季度,月度维度的汇总和展示,提供了简单的纵向横向的指 ...
大数据学习：大数据就业前景和就业方向
对于想要学习数据分析的同学来说,最重要的应该就是学完之后的就业吧.那么,大数据的就业前景和就业方向是怎样的呢? 大数据的就业领域是很宽广的,不管是科技领域,还是食品产业,零售业等等,都是需要大数据人才 ...
大数据学习1——大数据概述
一.三次信息化浪潮的标志第一次:PC 第二次:互联网第三次:大数据.云计算.物联网二.大数据关键技术大数据特点:4V,数据量大(Volume).数据类型多(Variety).处理速度快(Vel ...
lyuyou消费大数据_基于大数据技术的电力用户行为分析及应用现状
&Automation 基于大数据技术的电力用户行为分析及应用现状沈玉玲,吕燕,陈瑞峰 ( 上海电气集团股份有限公司中央研究院, 上海 200070 ) 摘要: 电力行业是大数据技术应用的 ...
大可乐推出基于大数据而研发的4G手机
大可乐公司日前发布了一款基于大数据研究用户需求而开发的4G手机--"大可乐·春".根据数据魔方的统计显示,近一年来有70%的用户选择5.0-5.5吋屏幕的手机,34%的购机用户最关 ...
（一）大数据学习引言——大数据概述
一.大数据的概念概念大数据是指:无法在现有的常规软件工具对其内容进行抓取.管理和处理的数据集合. 特征 Volume:数据量足够大 Variety:数据的种类多样 Velocity:数据的增长速度 ...
浪潮商用机器携手长亮科技和南大通用打造基于GBase国产高端数据仓库方案
日前,长亮科技数据仓库解决方案与浪潮K1 Power国产高端服务器基于国产化数据库南大通用GBase 8a,通过24项基础功能测试和业务场景性能测试,完美兼容且性能强劲,可实现顺利部署.平稳运行及高效 ...

大数据学习——基于大数据平台的数据仓库ETL基本思路

ETL工具

ETL开发过程

大数据学习——基于大数据平台的数据仓库ETL基本思路相关推荐

最新文章

热门文章