浅谈数据中台与数据仓库的异同

一、数据仓库

数据仓库的概念大家并不陌生，关于数据仓库的理论和应用已经非常成熟，持续不断地帮助高层决策者和业务人员做分析和决策。简单来说，数据仓库是一个面向主题的、集成的、非易失性的，随时间变化的用来支持管理人员决策的数据集合，数据仓库的展现形式一般是报表和数据图形。

传统的数据仓库通常具有以下几个特点：

1. 业务主题性：比如对一个生产型企业来说公司的主题域是产品、订单、销售商、材料等，要解决应用问题可能是库存、销售、销售商等。其有业务是面向主题的。

2. 系统集成性：在传统数据仓库中，集成是最重要的，由于计算和存储的成本原因，其数据需要从不同的数据源抽取过来并集中，其数据的冗余度需要尽可能的降低，因此数据进入数据仓库中需要进行转化、格式化、重新排列和汇总等操作，其所有数据具有单一物理特性，都是结构化方式存在。在系统架构方面，也是以集中式存储和计算方式存在，新一代的数仓采用分布式计算，但软件产品采用集中部署方式存在。

3. 非易失性：数仓系统会记录所有记录，与业务系统相比，它不会对记录进行变化操作（update和delete），它会保留所有记录的变化，但受限于成本和计算能力考虑，数仓不会记录全量明细数据，特别是日志数据，因此大部分数仓平台的数据容量在TB级别以下。

4. 时间变化性：数据仓库中每个数据单元只是在某一时间是准确的，因此数据单元的准确性与时间相关，数据仓库中的数据时间范围通常为5-10年。

二、数据中台

顾名思义，数据中台定位于计算后台和业务前台之间。目前对于数据中台的定义，市场上并没有统一。数澜科技对其的定义是：数据中台是一套可持续的“让企业的数据用起来”的机制，是一种战略选择和组织形式，依据企业特有的业务模式和组织架构，通过有型的产品和实施方法论支撑，构建一套持续不断地把数据变成资产并服务于业务的机制。数据来自于业务，并反哺业务，不断循环迭代，实现数据可见、可用、可运营。

从以上定义可以看出，数据中台的关键职能与核心价值是以大数据赋能业务，满足不断变化的业务需求。数据中台是一套大数据产品+方法论+场景实现+运营的综合体系。

数据中台作为整个企业组织中所有业务的数据服务消费需求的提供方，通过自身的平台能力和业务对数据的不断滋养（业务数据化），会形成一套快速可靠的数据资产体系和数据服务能力（数据资产化和资产服务化），这样当出现新的市场变化，需要构建新的前台应用时，数据中台可以迅速供给数据服务（服务业务化），从而敏捷地响应企业的创新。业务产生数据，数据服务业务，业务与数据互相滋补，形成闭环。

数据中台屏蔽掉底层存储平台的计算技术复杂性，降低对技术人才的需求，让数据的使用成本更低。通过数据中台的数据汇聚、数据开发模块建立企业数据资产。通过资产管理与治理、数据服务把数据资产变为数据服务能力，服务于企业业务。数据安全体系、数据运营体系保障数据中台可以长期健康、持续运转。

三、数据仓库 VS 数据中台

那么，新晋网红数据中台和数据仓库有哪些明显的区别呢？可以用下面这张图来总结。

首先表现在计算存储上，传统的数据仓库基于OLAP类型的数据库，后续发展为MPP、Hadoop、GreenPlum混合架构。数据中台从一诞生起，就使用Hadoop、MPP、RDS、Flink等混合架构，随需搭配，满足各类数据计算的要求。

其次是不同的应用场景和价值体系，数据中台的应用场景比传统的数据仓库应用场景广泛得多。传统的数仓只是满足领导和业务人员数据决策的需要，因此更多的体现在报表输出，使用者以小部分的业务人员和决策层为主，新需求的开发周期以月甚至到年为计。而数据中台由于起家于互联网企业，其使用对象扩大到一线服务人员和商家企业，其业务需求更繁杂，包含商品推荐、精准广告展示、客户满意度评价等等诸多不确定性的应用场景，很难用传统的报表系统满足需求，因此必须要使用随需应变的数据服务来快速满足不断变化的业务需求。

除此之外，在体系架构上，数据中台是由多个组件构成，除了计算平台外，其方案由多个分布式服务系统提供，满足不同业务需求和高并发和系统自动扩容需求，除了大数据存储和计算平台外，还包含数仓建设、数据开发IDE、任务调度、数据同步服务、数据治理、对外统一数据服务、资产管理系统、实时流计算平台和开发平台，敏捷BI报表开发等多个组件，通过多个组件组成一整套方案。这一点传统的数据仓库是远远达不到的。

但数据中台和数据仓库也有一些相似的地方。在建模方法上，数据中台同样也采用传统的数仓维度建模法，按照事实表，维表来构建数据中台的数据模型，这一点二者是一致的。

总结：

随着DT时代数据量的指数化增长，企业对业务敏捷性的要求不断提高，传统的数据仓库已经无法满足企业的数字化转型要求，数据中台应运而来。数字化转型成功的企业，其内部和外部的交互均以数据为基础。业务的变化快速反馈在数据上，企业能够迅速感知并做出反应，而其决策与考核也基于客观数据。同时，数据是活的、是流动的，越用越多，越用越有价值。随着数据与业务场景的不断交融，业务场景将逐步实现通过数据自动运转和自动优化，进而推动企业迭代进入数字化和智能化的阶段。

但对于已经建设有数据仓库的企业，也没有必要完全推翻已有的数据仓库，它依然可以在决策分析领域帮助到领导和业务人员，发挥其重要的价值。

作者信息：

蒋珍波，大数据咨询专家，擅长为客户提供科学合理的大数据解决方案，尤其擅长数据治理、数据中台解决方案。曾先后供职于东南融通、普元信息等公司，负责过数据仓库、大数据平台、数据中台、数据治理等售前咨询等工作，有政府、大中型企业等多个行业经验。著有《数据中台》一书（机械工业出版社，与同事合著）。

欢迎同仁们商榷，可以发邮件给我：jiangzhenbo.hi@163.com，或者加我微信：401172028，共同探讨数据治理相关领域的问题。

浅谈数据中台与数据仓库的异同相关推荐

浅谈数据中台安全体系构建思路
作者:王振东来源:绿盟科技战略规划部摘要数据中台是大数据业务体系数据规约化建设的核心场景,数据中台既搭建大量数据归集的相关设施,又针对数据开展大量治理.运维.分析.加工.共享.开放等交互事务, ...
【大数据架构】浅谈数据中台
数据中台背景大环境背景近几年较火的数字化转型,很多企业也从信息化到数字化. 信息化时代:是信息化为物理世界活动服务的:更多的是为物理世界活动提升效率.例如我们现在很多系统其实也是信息化,例如OA系 ...
透过数字化转型再谈数据中台（三）：一文遍历大数据架构变迁史
编者按:<透过数字化转型再谈数据中台>系列连载 6-8 篇左右,作者结合自己在数据中台领域多年实践经验,总结了数据架构知识.BI 知识,以及分享给大家一些产业互联网实施经验.本文是系列文章 ...
浅谈企业中台商业模式及建设思路
浅谈企业中台商业模式及建设思路文章目录浅谈企业中台商业模式及建设思路前言企业中台的定义和能力企业中台的商业故事企业中台的商业模式构建企业中台时不同的企业初衷企业中台的价值主张企业中台 ...
数据埋点|从隐私保护浅谈数据生命周期，初识数据埋点
点击上方蓝字关注我们你是否和我有同样的感觉,不知道从什么时候开始我们的隐私已经彻彻底底地暴露,在互联网场景下我们就是在裸奔.列举几个情景,你应该也会感同身受. 想必在某宝上搜索过自己心仪的商品后 ...
浅谈数据湖的探究与调研！
注: 对于数据湖博主也是近期开始研究探索的,下面给大家简单的聊一聊数据湖. 浅谈数据湖的探究与调研! 1.什么是数据湖(Data lake)? 数据湖是目前比较热的一个概念,许多的企业都在构建或者计划 ...
数据中台VS业务中台、数据中台VS数据仓库，到底有什么区别？
导读:本文主要阐述数据中台的定义和核心能力. 作者:付登坡江敏任寅姿孙少忆等来源:大数据DT(ID:bigdatadt) 01 数据中台VS业务中台 1. 数据中台与业务中台的区别业务中台 ...
再问数据中台-数据中台和数据仓库，数据平台的关系是什么？
早期,企业的数据是少量的,利用Excel等数据文件处理工具来进行统计和手工分析. 然后,企业希望能够更快的处理比较多的数据,就有了数据仓库的出现,也希望利用数据来支撑运营和分析.接下来不仅有了结构化数 ...
数据中台的数据仓库和商业智能BI的数据仓库有什么区别？
数据中台的数据仓库和商业智能BI的数据仓库本质上没有任何区别,都是在底层业务系统数据源和上层应用之间做了一个隔离层,进行上下两层的解耦合.从数据分析应用角度来讲,不管是大数据还是小数据,都是把业务系统 ...

浅谈数据中台与数据仓库的异同

浅谈数据中台与数据仓库的异同相关推荐

最新文章

热门文章