数据仓库如何保证数据一致性
数据指标一致性
数据指标不一致的体现
同样的指标来自两张不同的表，结果不一样，可能源不一致，口径不一致
同样的指标，数据源自同一张表，但是是2个需求，指标口径不统一。
同一个指标，命名不一样，导致重复计算。
不同的两个指标，命名一样，导致产生误解
数据一致性的目标
从设计，开发，部署和使用层面，避免重复建设和指标冗余建设，从而保障数据口径的规范和统一，最终实现数据资产全链路关联，提供标准数据输出以及建立统一的数据公共层。
数据一致性思考方向
口径一致性（计算口径，可以从结果去做监控）
命名一致性（通过指标管理平台来管理）
如何保证数据指标一直性
从需求分析、到命令规范到开发规范、到指标监控
最后 数据重新计算的场景一定保证后面依赖的部分全部计算
统一命名规范
词根梳理评审
指标评审及指标定义
指标命名规范
研发流程规范
开发流程：
需求分析调研，明确口径，评估排期，需求正规流程提交
指标管理：完善指标命名规范，指标同名同义，指标和业务强相关，明确指标构成要素
模型设计：完善开发流程规范，标准化业务调研，知识库文档集中管理，建立模型评审机制。
ETL开发：ODS,DWD,DWS,DWT,ADS
数据验证：制定数据测试标准
任务调度：规划化调度参数配置
上线管理
清洗规范
单位统一，比如金额单位统一为元
字段类型统一
注释补全
空值用默认值或者中位数填充
时间字段格式统一
json数据解析
枚举值统一
过滤没有意义的数据。
研发工具保障
设计原则
指标口径一致性
使用便捷性
数据处理智能及高性能
开发维护高效性
展示
指标编码
指标名称
业务口径
指标类型
存储的表
责任人
创建时间
状态
1.4.4 指标结果监控
数据重新计算
参考 https://blog.csdn.net/yezonghui/article/details/117649473
数据仓库如何保证数据一致性相关推荐
- php并发扣款,PHP 并发扣款，保证数据一致性（悲观锁）
业务场景分析 用户购买商品的逻辑中,需要对用户钱包的余额进行查询和扣款 异常:如果同一用户并发执行多个业务进行"查询+扣款"的业务中有一定概率出现数据不一致 Tips:如果没有做限 ...
- redis主从复制如何保证数据一致性_面试官：Redis 主从复制时网络开小差了怎么整？...
上周因为实在太忙就认认真真写了一篇水文,吹了一下自己过去的经历,反响竟然超出了我的预期,并且后台还有读者留言表示想看续集的.哈哈,果然大家还是对水文更有热情. 这期我们继续回到之前的 Redis 话题 ...
- mysql数据迁移数据一致性检教6_如何在数据库迁移中保证数据一致性？
原标题:如何在数据库迁移中保证数据一致性? 作者 | 王斌 译者 | 平川 策划 | 万佳 在分布式系统中,保持数据一致非常困难,而且很容易出错.在本文中,我们将探索一种在迁移期间保持数据一致性的方法 ...
- MySQL 在高并发下的 订单撮合 系统使用 共享锁 与 排他锁 保证数据一致性
原文:MySQL 在高并发下的 订单撮合 系统使用 共享锁 与 排他锁 保证数据一致性 作者:林冠宏 / 指尖下的幽灵 掘金:https://juejin.im/user/587f0dfe128fe1 ...
- RabbitMQ实现多系统间的分布式事务，保证数据一致性
点击关注公众号,实用技术文章及时了解 一.实验环境 Lunix系统:Centos7.5 安装软件:rabbitmq 开发工具:IDEA 二.实验目的 Rabbitmq实现多系统间的分布式事务,保证数据 ...
- mha数据备份_MySQL备份与恢复之保证数据一致性(5)
在上一篇文章中我们提到热拷贝(MySQL备份与恢复之热拷贝),热拷贝也就是在MySQL或者其他数据库服务在运行的情况下使用mysqlhotcopy命令进行备份.这篇文章我们讲解怎样保证数据一致性.现在 ...
- redis主从保证数据一致性
redis主从保证数据一致性 前言 在redis中为了保证redis的高可用,一般会搭建一种集群模式就是主从模式. 主从模式可以保证redis的高可用,那么redis是怎么保证主从服务器的数据一致性的 ...
- elasticsearch 如何保证数据一致性？
<<ElasticSearch 集群是如何保证数据的一致性和实时性?>> <<Elasticsearch 如何保证数据不丢失?>> <<el ...
- Java怎么保证数据一致性_连续调用多个外部系统写接口保证数据一致性的思路...
概述 某些场景下,我们将业务数据落地之前,是需要先调用外部系统的多个写接口,当这些写接口都操作成功了,我们才将业务数据落地到自己本地的数据库里面.比如说: public void updateProd ...
- RabbitMQ实现分布式事务，保证数据一致性
一.实验环境 Lunix系统:Centos7.5 安装软件:rabbitmq 开发工具:IDEA 二.实验目的 Rabbitmq实现多系统间的分布式事务,保证数据一致性 三.实验方案 rabbitmq ...
最新文章
- 视频 + PPT 下载 | 《财富管理数字化转型现状与趋势洞察报告》解读第一讲
- rpm安装的mysql如何数据迁移_linux下mysql数据库的rpm安装步骤及常见问题的解决
- android textview表情,Android开发（16）-TextView显示表情图像和文字
- 【机器学习】逻辑斯蒂回归原理
- JavaScript之Ajax-1 Ajax(Ajax原理、Ajax对象属性和方法)
- android ble 写失败,Android低功耗蓝牙BLE写入数据很大几率会失败 求解
- HiveQL(三):修改表ALTER TABLE
- 计算机思维概述ppt,常见的第一讲 计算思维概述.ppt
- 微信小程序文档api
- excel实现分组计数
- 网页上怎么查询服务器地址,怎么查看一个网页的服务器地址
- python实现位置定位_python定位位置
- hadoop2.x学习01
- storm无损 the wolven_落日飞车专辑《柔性风暴(Soft Storm)》9首歌曲合集[FLAC/MP3/436.52MB]百度云网盘下载...
- C#开发金蝶K3插件
- numpy.loadtxt() 处理csv文件的正确姿势
- plc输出类型有哪些？
- 帝国CMS 7.2-插件包整合
- SQL必知必会读书笔记
- 知乎万赞：计算机应届生月薪大多是多少？