浅谈大数据平台的数据治理

近几年大数据风生水起，随着大数据业务的不断开展，各大互联网公司包括一些传统企业都越老越重视数据价值的挖掘。

一、数据治理模型

在公司的日常运行中，各种数据分析和数据挖掘技术，为公司发展决策和业务开展提供数据支持。以某互联网公司为例，公司内部也形成了一套完善的数据治理方案，核心就是由大数据平台+数据仓库+数据治理平台+数据监控平台来实现数据治理。

大数据平台支撑整个大数据的运行环境
数据仓库整合各个业务线的数据，消灭数据烟囱
数据治理平台提供统一指标管理、统一维度管理、统一数据出口管理
数据质量负责监控数据资产质量状态、持续推动数据质量监控优化预警、实时监控预警

二、常见问题

公司业务的不断发展加快了数据膨胀的速度，数据不一致等问题也随之而来。同时业务部门的频繁增加和剥离也会对数据治理带来挑战。

例如：不同业务线之间没有统一的数据入口记录和加工业务的发展过程；不同业务线的数据分析人员、数据开发人员，不同产品线之间缺乏有效的沟通，人员的流动也会产生一系列对接问题。

各个数据平台和业务系统不同模块的指标定义不一致
相同指标名称对应计算口径不一致

浅谈大数据平台的数据治理相关推荐

建设大数据平台，从“治理”数据谈起
一随处可见的数据问题大数据不是凭空而来,1981年第一个数据仓库诞生,到现在已经有了近40年的历史,而国内企业数据平台的建设大概从90年代末就开始了,从第一代架构出现到现在已经经历了近20年的时间 ...
浅谈大数据风控平台的功能需求
导读:大数据风控业务的开展依赖智能风控平台,智能风控平台的技术基础是大数据技术,智能风控系统技术架构也是以大数据系统技术架构为基础演进而来的. 智能风控系统技术架构主要分为访问层.展现层.系统层.大数 ...
张晓波：浅谈大数据应用的知与行|V课堂第82期
2017年8月26日,<中国大数据应用蓝皮书>的发布引起了大数据领域的政产学界领导.顶尖学者的强烈关注.在全球化的新阶段,面对互联的新世界,大数据如何不断创造新模式.新生态和新时代? 第8 ...
大数据审计的发展_浅谈大数据时代下审计工作的发展方向
浅谈大数据时代下审计工作的发展方向李寒梅 [摘要] [ 摘要 ] 随着信息化水平不断提升,企业的审计工作需要处理海量的数据,而利用常规软件难以对海量数据进行处理,这就需要应用大数据技术.审计 ...
浅谈大数据的标签管理
最近参与了一个大数据的项目,是涉及标签管理方面的内容,使我这个初涉入大数据领域的人获益匪浅. 标签,也可以叫做Tag,最早出现于2005年(注1),随着Web2.0的Blog应用被广泛使用开来.标签也 ...
浅谈大数据：如何成为大数据企业？
文章讲的是浅谈大数据:如何成为大数据企业, 1.什么叫大数据? "大数据"是"数据化"趋势下的必然产物!数据化最核心的理念是:"一切都被记录,一切都 ...
集成平台、大数据平台、数据治理平台，医院信息科应该怎么选？
文章来源:森亿AI医疗近几年,医院的信息化建设速度不断加快,已基本实现了业务的数据化.院内的信息化系统越来越多,其中积累了海量的医疗数据.要真正发挥这些数据的价值,需对其进行采集汇聚.治理.计算和挖 ...
一文搞懂数据治理、数据仓库、大数据平台、数据中台、报表BI体系等概念
今天要给大家送一份极好的东西. 第一次看到这份<数据化建设知识图谱>时确实被惊艳到了,内容之详细,质量之高,强烈建议做IT.做数据相关工作的粉丝朋友们搞上一份. 一张超大的实物图谱这次特 ...
我该建数仓、大数据平台还是数据中台？看完脑子终于清醒了
一.层出不穷的新名词现在各种新名词层出不穷: 顶层的有数字城市.智慧地球.智慧城市.城市大脑: 企业层面的有数字化转型.互联网经济,数字经济.数字平台: 平台层面的有物联网,云计算,大数据,5G,人 ...

浅谈大数据平台的数据治理

一、数据治理模型

二、常见问题

浅谈大数据平台的数据治理相关推荐

最新文章

热门文章