ODS+DWD层详细介绍

ODS （原始数据层）
主要完成：

（1）保持数据原貌不做任何修改，保留历史数据，储存起到备份数据作用；
（2）压缩采用gzip，压缩比是100g数据压缩完10g左右；
（3）创建分区表，防止后续的全表扫描，减少集群资源访问数仓的压力，一般按天存储在数仓中。

DWD（Data WareHouse Detail）数据明细层，主要是将从业务数据库中同步过来的ODS层数据进行清洗和整合成相应的事实表。事实表作为数据仓库维度建模的核心，需要紧紧围绕着业务过程来设计。

DWD主要完成：
   采用维度模型方法,按照主题建立各种数据模型,构建最细粒度的明细事实表
   数据清洗：去除空值、脏数据、枚举值转换，超过极限范围的，使用hive sql数据清洗
   数据脱敏：对身份证，手机号等敏感信息脱敏，加*，使用spark 脱敏


1. 数据清洗
（1）空值去除
（2）过滤核心字段无意义的数据，比如订单表中订单 id 为 null，支付表中支付 id 为空
（3）将用户行为宽表和业务表进行数据一致性处理

2. 脱敏
对手机号、身份证号等敏感数据脱敏

3. 维度退化

将维度退化至事实表中，减少事实表和维度表的关联
对业务数据传过来的表进行维度退化和降维。（商品一级二级三级、省市县、年月日）

4. 压缩

snappy
5.存储
orc列式存储

去除空值，脏数据，超过极限范围的数据，行式存储改为列存储，改压缩格式）、规范化、维度退化、脱敏等操作。
基于每个具体的业务过程特点，构建最细粒度的明细层事实表

但在数据仓库只产品中，一旦涉及到 join 关联操作，会消耗大量的资源，且降低运行的速度。所以会选择增加几余，将这些维度表合并到主表中形成宽表。这种操作被称为维度退化。

星星模型所有维表都直接连接到事实表上时，整个图解就像星星一样，故将该模型称为星型模型

雪花模型是对星型模型的扩展
雪花模型使得维度分析更加容易
多个星型构成一个星座

去除空值，脏数据，超过极限范围的数据，行式存储改为列存储，改压缩格式）、规范化、维度退化、脱敏等操作。

ODS+DWD层详细介绍相关推荐

PCB板-叠层详细介绍
目录: 一.PCB板叠层介绍二.PP片介绍 ----------------------------------------------------------------------------- ...
数据仓库各层到底在做什么？(ODS,DWD,DWM,DWS,ADS)
文章目录源数据层(ODS) 数据仓库层(DW) DWD明细层 DWM 中间层 DWS 业务层数据应用层(ADS或DA或APP) 维表层(DIM) 源数据层(ODS) 此层数据无任何更改,直接沿用外 ...
数据仓库之【用户行为数仓】06：【dwd层】明细数据层：清洗ods层之后的数据
一.dwd层分析下面我们来创建dwd层: 针对ods层表中的数据进行清洗,参考数据清洗规则,按照实际情况对数据进行清洗. 注意:如果清洗规则使用SQL可以实现,那么就使用SQL实现数据清洗,如果清洗 ...
3.项目记录将ODS层的数据处理成DWD层
将ODS层的数据通过清洗转换处理成DWD层的数据,保存成parquet格式主要工作: 数据规范处理,将一些字段处理成同一的规范(时间,日期,空字符统一...) 将设备id,和用户账号同时为空的记录过 ...
数仓ODS,DWD,DWS层
数据仓库中的数据表,往往是分层管理.分层计算的: 所谓分层,具体来说,就是将大量的数据表按照一定规则和定义来进行逻辑划分: ADS层: 应用服务层 DWS层:数仓汇总层 DWD层:数仓明细层 ODS层 ...
【实时数仓】DWD层需求分析及实现思路、idea环境搭建、实现DWD层处理用户行为日志的功能
文章目录一 DWD层需求分析及实现思路 1 分层需求分析 2 每层的职能 3 DWD层职能详细介绍 (1)用户行为日志数据 (2)业务数据 4 DWD层数据准备实现思路二环境搭建 1 创建mav ...
HIve数仓新零售项目DWD层的构建
HIve数仓新零售项目注:大家觉得博客好的话,别忘了点赞收藏呀,本人每周都会更新关于人工智能和大数据相关的内容,内容多为原创,Python Java Scala SQL 代码,CV NLP 推荐系统 ...
电商数仓(dwd 层)
一.dwd 层介绍 1.对用户行为数据解析. 2.对核心数据进行判空过滤. 3.对业务数据采用维度模型重新建模,即维度退化. 二.dwd 层用户行为数据 2.1 用户行为启动表 dwd_start_l ...
ODS DWD DWS ADS 数仓分层
数仓分层 ODS:Operation Data Store 原始数据 DWD(数据清洗/DWI ) data warehouse detail 数据明细详情,去除空值,脏数据,超过极限范围的明细解析 ...

ODS+DWD层详细介绍

ODS+DWD层详细介绍相关推荐

最新文章

热门文章