数仓建模—数据同步方案设计

数据同步方案设计

通过前面的学习数据仓库的特性之一是集成，关于一点你可以参考我们前面的文章

数仓建模—数仓初识
数仓建模—数据集成

数据集成狭义上来说就是把未经过加工处理的、不同来源的、不同形式的的原始业务数据同步到ODS层，在数据仓库建模中，未经任何加工处理的原始业务层数据，我们称之为ODS(Operational Data Store)数据,一般情况下，这些ODS层数据包括日志数据(埋点)和业务DB数据。对于业务DB数据而言(比如存储在MySQL中)，将数据采集并导入到数仓中是非常重要的一个环节。

那么，该如何将业务DB数据高效准确地同步到数仓中呢一般企业会使用两种方案：

直连同步其中直连同步的基本原理就是直连接数据库然后根据条件进行进行SELECT查询，然后将查询的数据存储到本地文件作为中间存储，最后把文件Load到数仓中。这种方式非常的简单方便，但是随着业务的发展，会遇到一些瓶颈。
实时增量同步(数据库日志解析)，为了直连方案的问题，一般会使用实时增量的方式进行数据同步，其基本原理是CDC (Change Data Capture) + Merge，即实时Binlog采集 + 离线处理Binlog还原业务数据这样一套解决方案。

同步方案

直连同步

直连同步是指通过定义好的规范接口API和基于动态链接库的方式直接连接业务库&#

数仓建模—数据同步方案设计相关推荐

数仓实时数据同步 debezium
数仓实时数据同步 debezium 背景 debezium 简介架构基本概念例子 Router 目前遇到的问题背景数据湖将源库的数据同步到hive数仓ods层,或直接在kafka中用于后面计 ...
数仓建模—数据领域常见概念与职位划分
数据领域常见概念随着大数据时代的普及以及国家战略层面上的数字化转型,越来越多的客户意识到了"数据"的重要性,无论是走在前面的互联网企业.银行,还是传统有一定数据积累的零售.医药行 ...
数仓建模—数据治理的本质与实践
数据治理的本质与实践近三年,随着阿里数据中台战略的提出,以及各种数据应用场景的成功落地,企业和政府对自身数据资产的价值也前所未有的重视起来.但是,数据资产的价值发掘依赖于有序.完整和高质量的数据,数 ...
数仓建模—增量数据处理
增量数据处理这一节我们不讲技术,讲一个故事,关于数据同步这一块的落地方案可以参考我们之前的文章数仓建模-数据集成数仓建模-数据同步方案设计数仓建模-美团DB数据同步到数据仓库的架构与实践因为 ...
数仓建模项目_音乐数据项目火力全开，技能双倍提升！
↑ 点击上方"尚学堂"关注我们音乐数据中心数仓综合项目 1项目介绍音乐数据中心项目是大型企业级综合数仓项目,此项目针对音乐数据进行分析,构建数据仓库,建立用户.机器.内容等主题 ...
大数据数仓建模（3）
大数据数仓建模(3) 2.2.6 人员配置参考 1.旁敲侧击的问你到底做过没有 2.你们大概规模,数据量 1整体架构属于研发部/技术部/数据部/基础平台部,我们属于大数据组,其他还有后端项目组,前端 ...
[数仓笔记]数据建模
[数仓笔记]数据建模 1. 为什么需要数据建模 2. 典型的数仓建模方法论 2.1 关系建模 2.2 维度建模 3. 数据整合及管理体系 3.1 体系架构 3.2 指标体系 3.2.1 定义 3.2. ...
谈笑间学会数仓—大数据建模过程
谈笑间学会数仓-大数据建模过程首先我们先来了解一下,大数据建模都需要遵循哪些原则呢?先来列举一下建模原则高内聚和低辑合将业务相近或者相关.粒度相同的数据设计为一个逻辑或者物理模型:将高概率同 ...
大数据数仓建模 - 维度建模实战及思路过程（两年数仓建模经验纯干货）
数仓维度建模维度建模方法论: 维度建模是以业务过程为驱动先确定某些业务过程围绕业务过程去建立模型通常采用自底向上的方法从明确关键业务过程开始再到明确粒度再到明确维度最后明确事实在 ...

数仓建模—数据同步方案设计

数据同步方案设计

同步方案

直连同步

数仓建模—数据同步方案设计相关推荐

最新文章

热门文章