数仓架构实践2：京东四层模型架构

京东数仓大致分四层架构

BDM:数据缓冲层，与源系统保持一致，相当于传统数仓的ODS。
FDM:基础数据层，按主题设计，数据融合，存放明细历史数据，相当于传统数仓的EDW。
GDM:通用汇总数据层，明细粒度，可以查询到具体字段信息；数据的预关联，预汇总和预加工；依赖对应用的共性提炼，而不是某个具体应用。
ADM:聚合数据层，应用层。面象应用按需定制。

1：数据缓冲层(BDM)
源业务系统数据的快照，保存细节数据，按天保存
2：基础数据层(FDM)
按业务概念组织细节数据，并进行名称、代码等标准化处理，同时对表进行标准化处理。
3：通用数据层(GDM)
根据京东核心业务价值链按照星型模型或雪花模型设计方式建设的最细业务粒度汇总层。在本层需要进行度量与维度的标准化，保证度量数据的唯一性。
4：聚合数据层(ADM)
根据不同的业务需求采用星型或雪花型模型设计方法构建的数据汇总层
5：维度层(DIM)
维度是对具体分析对象的分析角度，维度要具备丰富的属性，历史信息的可追溯性，对通用的维表要保持一致性。

另附，大数据平台架构：

数仓架构实践2：京东四层模型架构相关推荐

《美团数据平台及数仓建设实践》（209页）.PDF
7份有关数据化建设的资料都整理好了,包括数据仓库.数据中台.数据仓库等等,有需要的私信:"美团"领取 1.美团数据平台及数仓建设实践.PDF下载美团技术团队的博客质量非常高,里面 ...
新东方基于Hologres实时离线一体化数仓建设实践
业务介绍新东方教育科技集团定位于以学生全面成长为核心,以科技为驱动力的综合性教育集团.集团由1993年成立的北京新东方学校发展壮大而来,拥有短期培训系统.基础教育系统.文化传播系统等业务. 在互 ...
数仓建模思想之星型模型、雪花模型、星座模型
数仓建模思想之星型模型.雪花模型.星座模型 1. 背景在大数据开发中,数据一般是分为事实表,维度表,实体表等表. 事实表顾名思义就是记录实际发生的事情如订单表,优惠券使用表等等. 维度表,顾名思义 ...
美团数据平台及数仓建设实践，超十万字总结
美团技术团队的博客质量非常高,里面有许多关于大数据的文章,具有很大的参考价值. 美团技术博客地址:https://tech.meituan.com 但是博客功能简陋,没有基本的搜索功能,这对于我们查找 ...
数仓架构实践3：苏宁售后体系四层模型架构
原始借鉴方案 1. 复制层(SSA,system-of-records-staging-area) SSA 直接复制源系统(比如从mysql中读取所有数据导入到hive中的同结构表中,不做处理)的数据 ...
新氧云原生全栈数仓最佳实践
简介: 新氧数据中台数据研发部总监高宏超:自建大数据平台面临困难与挑战,我们从成本.安全.资产管理及组件可扩展性等综合考量后决定整体迁移到阿里云,上云后,总体资源成本降低30%,性能上提升2-3倍, ...
区块链系统架构图_区块链模型架构
一般说来,区块链系统由数据层.网络层.共识层.激励层.合约层和应用层组成. 其中,数据层封装了底层数据区块以及相关的数据加密和时间戳等技术:网络层则包括分布式组网机制.数据传播机制和数据验证机制等:共 ...
Apache Doris在美团外卖数仓中的应用实践
来自:美团技术团队美团外卖数据仓库通过MOLAP+ROLAP双引擎模式来适配不同应用场景.MOLAP引擎使用了Apache Kylin.ROLAP我们经过综合考虑,选择了Apache Doris.本 ...
网易严选打造数仓规范和评价体系实践
数据仓库,是数据工程师的无形产品,不同于可视化.交互型产品的评价体系,数据仓库的评价自有它的独特性. 本次邀请了有多年数据领域工作经验,专注数据架构.模型设计和规范执行落地的专家,从概念-平台-规范的 ...

数仓架构实践2：京东四层模型架构

另附，大数据平台架构：

数仓架构实践2：京东四层模型架构相关推荐

最新文章

热门文章