[数据仓库]我理解的数据中台
目录
概述
特点
数据应用成熟度
核心:让数据产生价值
与传统数仓的区别
技术架构
建设思路
自上而下
自下而上
概述
数据中台不仅仅是一个技术栈,还是一种经营理念;需要利用数据中台理论提高企业的组织效率、协同效率、运营效率
不仅仅是业务和技术聚在一起,业务提需求,技术画架构,然后开发实现,这样一定做不好数据中台,它首先一定要在组织架构上表现出来,有组织保障。同时技术需要工具承载;因此数据中台是方法论+组织+工具的集合;最后的表现形式为:数据+服务+解决方案+组织。
特点
- 是一套能够持续将企业数据应用起来,产生价值的应用机制;
- 是一套不断将数据形成资产,并服务于业务的产品模式与架构方法论
- 数据来源于业务,然后反哺业务,形成闭环,从而帮助企业实现数据的可见、可用、可运营。
- 提高效率。消除烟囱,实现数据集成、标准统一,方便数据共享。
- 能够降低创新成本,这里的创新不是颠覆性的创新,而是基于现有的业务,通过合并简化式的创新,以适应变化的市场。
数据应用成熟度
- 查询统计
数据分散存储在业务系统中,无统一质量管控,以查询统计为主
- 决策支持
数据集中存储在数据仓库中,有一定的数据质量管理,主要用于决策支持
- 数据驱动
以数据价值驱动,采集更多数据:包括数据类型、数据量
- 运营优化
统一规范化数据和应用,优化数据中台,形成数据应用闭环
核心:让数据产生价值
- 尽可能地采集数据,包括结构、半结构、非结构数据
- 更好地整理数据
ETL过程:清洗、转换、加载
数据仓库:多维建模、ER建模
- 挖掘数据潜在的价值
与传统数仓的区别
传统数据仓库先把业务数据归集,根据数据发展业务,也就是“有什么数据做什么业务”;数据中台根据业务归集数据,先考虑做什么业务,做这些业务需要什么数据,然后产生和收集需要的数据,形成数据的循环,也就是“有什么业务就产生什么数据”。因此传统建设数仓周期长,见效慢,数据中台采用小步快跑,见效快,逐步迭代。
数据中台更加重视数据服务,比如数据分析、数据播报、数据运营。目标是被集成到更多的业务系统,因此考核的重要方面:核心表数、接口数据、被调用次数和频率、数据协同情况。
技术架构
建设思路
自上而下
- 盘点数据资产
- 规划数据架构
- 挖缺数据价值
自下而上
- 按业务需求规划第一个主题域
- 建设其他主题域
- 数据治理
[数据仓库]我理解的数据中台相关推荐
- 个推CTO安森:我所理解的数据中台
作者 | 个推CTO安森 来源 | 个推技术学院(ID:ID: getuitech) 引言 在前面两篇文章(<数据智能时代来临:本质及技术体系要求>和<多维度分析系统的选型方法> ...
- 数据中台的正确理解和数据中台建设的关键环节
数据中台是数据治理的关键,在数据治理上发挥着建设.管理和监督的作用.但即使在今天,对数据中台仍然没有形成一个统一的理解.笔者结合自己的研究和近些年数据治理的经验,参考其他同行的研究成果,浅谈对数据中台 ...
- 从数据仓库到大数据平台再到数据中台(内附13张架构图)
现在,数据的新名词层出不穷,顶层的有数字城市.智慧地球.智慧城市.城市大脑-企业层面的有数字化转型.互联网经济,数字经济.数字平台- 平台层面的有物联网,云计算,大数据,5G,人工智能,机器智能,深度 ...
- 数据仓库、大数据平台、数据中台的区别
问题导读: 1.如何理解数据中台? 2.数据仓库.大数据平台.数据中台都是什么? 3.大数据平台硬件架构如何设计? 4.数据仓库.大数据平台.数据中台架构如何理解? 一.层出不穷的新名词 现在各种新名 ...
- 惟客数据解读:数据湖、数据仓库、数据中台究竟区别在哪儿?
数字化转型浪潮卷起各种新老概念满天飞,数据湖.数据仓库.数据中台轮番在朋友圈刷屏,有人说"数据中台算个啥,数据湖才是趋势",有人说"再见了数据湖.数据仓库,数据中台已成气 ...
- 数据中台VS业务中台、数据中台VS数据仓库,到底有什么区别?
导读:本文主要阐述数据中台的定义和核心能力. 作者:付登坡 江敏 任寅姿 孙少忆 等 来源:大数据DT(ID:bigdatadt) 01 数据中台VS业务中台 1. 数据中台与业务中台的区别 业务中台 ...
- 数据中台的数据仓库和商业智能BI的数据仓库有什么区别?
数据中台的数据仓库和商业智能BI的数据仓库本质上没有任何区别,都是在底层业务系统数据源和上层应用之间做了一个隔离层,进行上下两层的解耦合.从数据分析应用角度来讲,不管是大数据还是小数据,都是把业务系统 ...
- 数据仓库(DW)、数据湖、数据中台的关系
一句话说明:数据中台是一套体系,既不是工具又不是存储,它可以包含数据湖和数据仓库. 数据仓库 数据仓库是一个面向主题的.集成的.随时间变化但信息本身相对稳定的数据集合,用于支持管理决策过程.其本质就是 ...
- 我该建数仓、大数据平台还是数据中台?看完脑子终于清醒了
一.层出不穷的新名词 现在各种新名词层出不穷: 顶层的有数字城市.智慧地球.智慧城市.城市大脑: 企业层面的有数字化转型.互联网经济,数字经济.数字平台: 平台层面的有物联网,云计算,大数据,5G,人 ...
最新文章
- 检测对抗样本_对抗T恤以逃避ML人检测器
- jmeter 压测 RabbitMQ_单机
- 用java二分法计算a的n次幂_用二分法计算a的n次幂算法分析
- 动手学深度学习Pytorch Task05
- char类型怎么输入 c语言_C语言的标准 “输入输出”!今天是你学C语言的第几天?...
- 第二周冲刺第一天个人博客
- 在固态硬盘上安装linux系统怎么安装,教程|教你一键重装怎么将系统安装在固态硬盘上...
- 计算机多媒体课件制作,多媒体课件制作软件
- hibernate 注解方式 属性mappedBy详解
- 约瑟夫 java_约瑟夫问题 java 实现详解
- 浅谈贝叶斯和MCMC
- 纪录大华的智能回调需要用到的事件列表
- Qbao Network 1024周年庆, 邀请Q 宝宝和金主爸爸来抱锦鲤啦!
- 网络聊天室——掌赢在线笔试
- 开发者和工程师的区别?
- 基于asp.net执勤综合管理系统的设计与实现
- Jenkins安装至项目发布全流程
- Python之中Image的使用[putpixel]
- 30_java之DButils工具类
- matplotlib-05 grid添加网格线