数据集成的两种架构：ELT和ETL

集成是数据工程师要做的工作之一。一般来说，数据工程师的工作包括了数据的ETL和数据挖掘算法的实现。算法实现可以理解，就是通过数据挖掘算法，从数据仓库中找到“金子什么是ETL呢？ ETL是英文Extract. Transform和Load的缩写，顾名思义它包括了数据抽取、转换、加载三个过程。ETL可以说是进行数据挖掘这项工作前的"备菜"过程。

我来解释一下数据抽取、转换、加载这三个过程。

ETL的过程为提取（Extract）——转换（Transform）——加载（Load）,在数据源抽取后首先进行转换，然后将转换的结果写入目的地。

ELT的过程则是提取（Extract）—加载（Load）——变换（Transform）,在抽取后将结果先写入目的地,然后利用数据库的聚合分析能力或者外部计算框架，如Spark来完成转换的步骤

目前数据集成的主流架构是ETL ,但未来使用ELT作为数据集成架构的将越来越多。这样做会带来多种好处:

ELT和ETL相比，最大的区别是"重抽取和加载,轻转换"，从而可以用更轻量的方案搭建起一个数据集成平台。使用ELT 方法，在提取完成之后,数据加载会立即开始。一方面更省时，另一方面ELT允许BI分析人员无限制地访问整个原始数据，为分析师提供了更大的灵活性，使之能更好地支持业务。

数据集成的两种架构：ELT和ETL相关推荐

在HPUX中IA64和PA-RISC两种架构下Oracle数据文件
最近刚购回一台IA64的HP小机,装好Oracle后,经测试可以把PA-RISC架构下的oracle数据文件直接copy 过来使用.之前有看过一个在HP小机上RAC的异构就是说PA-RISC和IA64 ...
阿里云DataWorks数据集成（DataX）架构实践分享
阿里云DataWorks数据集成(DataX)架构&实践分享分享嘉宾:罗海伟阿里云编辑整理:约理中国科学院大学目录 ▌为什么需要数据集成数据集成的应用场景数据集成的角色和地位 ▌ ...
三级综合医院数据集成平台建设与架构设计 | 实践分享
1.医院数据集成平台建设的背景国内大多数三级医院信息化起步于上世纪90年代初,至今发展有将近30年历史,主要分为四个阶段: 第一阶段,财务电子化模式:上世纪90年代中期,北上广的三甲医院已开始引入基 ...
x86跑android,ARM跑Win，X86跑安卓，为什么两种架构互相“踢馆”？
原标题:ARM跑Win,X86跑安卓,为什么两种架构互相"踢馆"? 最近,Android X86项目终于升级到了Android 11底层,基于安卓的Bliss OS 14也因此让X ...
视频网站服务器架构,适用于视频直播网站开发的两种架构
原标题:适用于视频直播网站开发的两种架构为了保证直播的顺利进行,技术人员在开发过程中可没少费了功夫.其实直播架构的设计对于直播来说,也是决定直播能否稳定运行的因素之一.通常,为了能够很好的应对实时交 ...
docker容器运行mysql持久化_docker容器实现数据持久化的两种方式及其区别
前言这篇博文是我对docker实现数据持久化几种方式的特征进行一个总结. 在docker中,它的存储文件系统是在dockerhost上原有的xfs或ext4架设了一层文件系统:overlay2(将此 ...
WPF中在XAML中实现数据类型转换的两种方法
WPF中在XAML中实现数据类型转换的两种方法原文:WPF中在XAML中实现数据类型转换的两种方法熟悉数据绑定的朋友都知道,当我们在Model中获取一个对象的数据,常常需要对其进行数据转换后显示在 ...
归一化mysql函数_数据归一化和两种常用的归一化方法
数据归一化和两种常用的归一化方法一.总结一句话总结: min-max标准化:x* =(x-min)/(max-min):新数据加入,需重新计算max和min Z-score标准化:x* =(x-μ ...
数据增加的两种方法（二）
数据增加的两种方法(二) 开发工具与关键技术:SQL Server 2014.数据增加的两种方法(二) 作者:袁何恩撰写时间:2019年7月26日今天,我要和大家分享的技术是新增数据的两种方法. ...

数据集成的两种架构：ELT和ETL

数据集成的两种架构：ELT和ETL

数据集成的两种架构：ELT和ETL相关推荐

最新文章

热门文章