数据体系建设-ODS|DW|TDM|ADS介绍
参考书目《数据中台：让数据用起来》
- ODS：各业务生成的基础数据存表，如log日志数据等
- DW：在ods基础上，分主题整合数据
- TDM：存储标签数据
- ADS：基于上面的数据源整合而成的供业务应用的指标报表等
贴源数据层ODS
贴源数据层ODS（Operational Data Store，又称操作数据层）：对各业务线生成的基础数据的采集汇聚
数据仓库ADS、DWD、DWS、ADS分层详解 - 百度文库
获取方式：ELT （抽取-加载-转换），原始数据存储在文本类型的大字段中（jason串），在通过解析任务将数据解析到结构化的数据表中。
命名规范：ODS_系统简称_业务系统表名，区分增量表和全量表，增量表会在后缀加_delta
生成过程：确定业务系统源记录-配置映射关系，增加日期，分区等标识信息-配置数据同步方式（增量汇总还是全量，是否对全部数据进行条件筛选同步）-整理需要同步的数据-导入数据验证并发布最终采集任务
贴源数据是按照业务流程（日志层面）组织数据，不便于业务理解和分析
统一数仓层DW
在DW层，数据会被按照主题进行建模，即按照不同的业务领域或业务流程进行分类和组织。
统一数仓层DW（Data Warehouse）：又细分为
明细数据层DWD（DataWarehouse Detail）：
汇总数据层DWS （Data Warehouse Summary）：对DWD层数据进行聚合和计算，生成各种汇总指标
建模方式：维度建模，用事实表和维度表组织数据
数据域举例：
假设：以某公司活跃数据为例，建设DW层数据
- 业务板块：如淘宝支付业务，美团外卖业务等等
- 数据域：活跃
- 业务过程：启动APP以及在APP内的一系列活跃行为
- 修饰类型: 行为时间、行为发生的端（APP、小程序、WAP）
- 原子指标：动作+度量如：小说阅读PV数，视频播放时长等
- 派生指标：某时间段内（修饰）使用时长（原子指标）均值（计算方法）
- 维度表：用户属性（男女、城市）......
- 事实表：明细事实记录原子数据（事务事实表：增量更新，不能回溯修改），汇总事实记录聚合数据（周期快照和累计快照表）。如每天的活跃行为记录表就是以天为周期的周期快照事实表
标签数据层TDM
标签数据层TDM（Tag Data Model）：面向对象建模，对跨业务板块、跨数据域的特定对象数据进行整合，通过ID-Mapping把各个业务板块、各个业务过程中的同一对象的数据打通，形成对象的全域标签体系
标签设计信息
- 业务方向：标签类目、标签名、标签加工类型、标签逻辑、值字典、取值类型、示例、更新周期、安全等级
- 技术方向：表名、字段名、负责人、完成时间等
纵表：Key-Value表
| 用户ID | key | value |
| a01 | 性别 | 女 |
|
a01 |
年龄 | 18 |
横表：二维表（更常用）
| 用户ID | 性别 | 年龄 |
| a01 | 女 | 18 |
|
a02 |
男 | 22 |
应用数据层ADS
应用数据层ADS（Application Data Store），避免在分析过程中频繁联表操作而创建的应用数据层，根据业务使用需要而个性化数据组装出来的表。不仅从各个表中迁移数据，也可能会进行一些数据加工的工作。
服务范围：常见的服务是用于BI分析，系统性能更强的应用数据可以用户个性化推荐，搜索优化等业务，应用数据层加工的结果数据集，要根据不同的使用场景，同步到不同的存储介质，以达到业务对不同吞吐量和响应时间的需要。
数据体系建设-ODS|DW|TDM|ADS介绍相关推荐
- 数据中台 第7章 数据体系建设:数仓分层设计、数据建模
数据中台数据体系是在全域原始数据的基础上,进行标准定义及分层建模,数据体系建设最终呈现的结果是一套完整.规范.准确的数据体系,可以方便支撑数据应用. 中台数据体系应具备以下特征: ·覆盖全域数据:数据 ...
- 李文卓：揭秘美丽说数据体系建设三部曲
文章讲的是李文卓:揭秘美丽说数据体系建设三部曲,毫无疑问,美丽说的用户是女人,而自古以来女人对于美丽的追逐则是个永恒不变的话题.在2009年美丽说出现之前,网络上并没有一个非常出名的社区或者网站被爱漂 ...
- 有别于BATJ，滴滴的中台数据体系建设怎么另辟蹊径？
来自:DBAplus社群 本文根据张茂森老师在[2019 DAMS中国数据智能管理峰会]现场演讲内容整理而成. 讲师介绍 张茂森,滴滴首席工程师,负责滴滴数据平台建设和数据产品商业化工作.致力于企业级 ...
- 腾讯云大数据产品中心总经理刘煜宏：企业全域数据体系建设（附完整PPT）
背景:5月23-24日,以"焕启"为主题的腾讯"云+未来"峰会在广州召开,广东省各级政府机构领导.海内外业内学术专家.行业大咖及技术大牛等在现场共议云计算与数字 ...
- 新工科背景下的大数据体系建设探析
新工科背景下的大数据体系建设探析 王元卓,于建业 中国科学院计算技术研究所,北京 100190 北京物资学院信息学院,北京 101149 摘要:大数据产业迅猛发展,对大数据人才培养提出了巨大挑战. ...
- 腾讯QQ大数据：BI方法论-数据体系建设之路
当一个企业要建立数据体系,它需要什么样的流程?当一个新的产品上线,它需要怎样建设业务的数据体系?这两个问题是否一些方法论去遵循?笔者原以为能在网上搜一篇关于数据体系建设的文章,居然未能如愿,甚为遗憾. ...
- 企业级指标数据体系建设思路探讨
企业级指标数据体系建设思路探讨 一.企业指标数据管理常遇到的挑战 1.1术语和定义 1.2挑战与痛点 二.设计目的 三.设计思路 3.1指标体系框架设计原则 3.2指标体系框架设计原理 四.指标选取原 ...
- 【大数据】政务大数据体系建设内容
重点从统筹管理.数据目录.数据资源.共享交换.数据服务.算力设施.标准规范.安全保障等8个方面,组织推进全国一体化政务大数据体系建设.
- 《全国一体化政务大数据体系建设指南》发布，隐私计算将如何发挥作用？
10月28日,国务院办公厅发布印发<全国一体化政务大数据体系建设指南>(以下简称<指南>)的通知,<指南>指出,建立完善政务大数据管理体系,推进政务数据资源开发利用 ...
最新文章
- String spilt时转义特殊字符【转】
- 浏览器刷新再次升级！不同浏览器窗口
- 能干掉苹果的中国黑客
- 憋不住的心里的一个想法，JVM的BYTECODE是完全平台无关的么？
- qqsafe病毒 arp网站挂马 原理剖析-786ts.qqsafe-qqservicesyydswfhuw8ysjftwf.org(转载)
- Linux Vim三种工作模式（命令模式、输入模式和编辑模式）详解
- Python 第五章 数据预处理
- nginx模块使用详解
- Appcan开发笔记:结合JQuery的$.Deferred()完善批量异步发送
- htop top ps dstat 命令的使用
- Qt使用QAudioRecorder进行音频采集，以及声音、热红外和可见光数据采集软件效果
- 模块化加载_webpack模块化原理-异步加载模块
- 【more effective c++读书笔记】【第5章】技术(5)——Reference counting（引用计数）(2)...
- Hibernate Annotation 设置字段的默认值
- 【全网最全】100款七夕节情人节表白网页制作HTML+CSS+JS
- 简单解释bp神经网络_神经网络的最简单，最直观的解释
- 配置gitLab的邮件服务，并开启邮箱的验证通知功能
- 《鹰猎长空》看世界范围内电影票价上涨的原因
- Html+Css实现鼠标经过图片放大
- Chrome浏览器升级后提示崩溃