ODS DWD DWS ADS 数仓分层

数仓分层
ODS：Operation Data Store
原始数据

DWD(数据清洗/DWI ) data warehouse detail
数据明细详情，去除空值，脏数据，超过极限范围的明细解析
具体表

DWS(宽表-用户行为，轻度聚合) data warehouse service ----->有多少个宽表？多少个字段
服务层--留存-转化-GMV-复购率-日活、点赞、评论、收藏;
轻度聚合对DWD

ADS(APP/DAL/DF)-出报表结果 Application Data Store
做分析处理同步到RDS数据库里边

数据集市：狭义ADS层；广义上指DWD DWS ADS 从hadoop同步到RDS的数据

1. ODS层
原始数据层，存放原始数据，直接加载原始日志、数据，数据保持原貌不做处理。

eg:创建启动日志表ods_start_log

2. DWD层数据解析
对ODS层数据进行清洗（去除空值，脏数据，超过极限范围的数据，行式存储改为列存储，改压缩格式）

DWD解析过程，临时过程

eg:

两个临时表： dwd_base_event_log、dwd_base_start_log
建多张表外部表: 以日期分区,dwd_base_event_log在这张表中根据event_name将event_json中的字段通过get_json_object函数一个个解析开来;
DWD层创建基础明细表

明细表用于存储ODS层原始表转换过来的明细数据。

3.DWS层--（用户行为宽表层）
目标：统计当日、当周、当月活动的每个设备明细

eg：建表dws_uv_detail_day

4.ADS层
目标：当日、当周、当月活跃设备数使用 day_count表 join wk_count join mn_count , 把3张表连接一起

eg：建表ads_uv_count表
3

ODS DWD DWS ADS 数仓分层相关推荐

数仓数据分层(ODS DWD DWS ADS)
ODS DWD DWS DWS,俗称的数据服务层,也有叫做数据聚合层.不过按照经典数据建模理论,一般称之为前者,也就是数据服务层,为更上层的ADS层或者直接面向需求方服务. DWS建模,一般使用主题建 ...
数仓分层（ODS、DWD、DWS、DWT、ADS）和数仓建模
文章目录一.数仓分层数仓概念 ODS(原始数据层)做了哪些事 DWD(明细数据层)做了哪些事 DWS(服务数据层)做了哪些事 DWT(主题数据层)做了哪些事 ADS(应用数据层)做了哪些事二.数 ...
数仓ODS,DWD,DWS层
数据仓库中的数据表,往往是分层管理.分层计算的: 所谓分层,具体来说,就是将大量的数据表按照一定规则和定义来进行逻辑划分: ADS层: 应用服务层 DWS层:数仓汇总层 DWD层:数仓明细层 ODS层 ...
谈笑间学会数仓-分层架构
1.数据仓库 1-1.什么是数仓呢? 数据仓库(Data Warehouse)简称DW或DWH,是数据库的一种概念上的升级,可以说是为满足新需求设计的一种新数据库,而这个数据库是需容纳更多的数据, ...
数仓分层的意义及通用设计
文章目录为什么要设计数据分层数仓分层的意义通用的数仓分层设计总结为什么要设计数据分层大多数情况下,我们完成的数据体系依赖复杂.层级混乱,在不知不觉中,容易出现循环依赖体系.因此,我们需要设 ...
【博学谷学习记录】超强总结，用心分享|大数据之数仓分层
数仓是什么? 数据仓库,简称数仓,英文名称为Data Warehouse,可简写为DW或DWH.数据仓库,是为企业所有级别的决策制定过程,提供所有类型数据支持的战略集合.它是单个数据存储,出于分析性报 ...
[hive]数仓分层|用户纬度拉链表|维度建模
https://www.modb.pro/404?redirect=%2Fdb%2F241289 一.数仓分层 1.ODS层:原始数据层 ODS(O=original D=data S=store) ...
数据仓库知识点总结（数仓分层建模、维度建模等）
数据仓库知识点总结推荐学习<华为数据之道><数据仓库工具箱-维度建模权威指南>两本书. 此文档是数据仓库建模的知识点总结文档,在持续更新中(2021-10-13). 文章目录 ...
数据仓库实战（一）：数仓分层分域规范
笔者多年身处一线互联网独角兽企业,主导过数据仓库从0到1的建设,同时作为数据中台核心成员,在巨头合并,大数据融合及迁移过程中起到至关重要的作用.对数据中台及数据中泰产品有一定研究,抱着分享与自我成长的 ...

ODS DWD DWS ADS 数仓分层

ODS DWD DWS ADS 数仓分层相关推荐

最新文章

热门文章