数据仓库、数据集市、数据湖、数据中台到底有什么区别？

经常看到有人问这个问题，数据玩家也看过很多解释，感觉都不够直观，这里，我尝试用一个大家都理解的例子来说明。

什么是数据仓库？

大家都去宜家买过东西吧，还记得一楼的大仓库不，你如果看中了某个家具，想要自己去仓库提货，一般都会记下商品上的编码：

这个编码对于顾客来说，肯定是没有任何含义的，看到这个编码，不可能知道他是一个什么商品。

但是这个编码，对于仓库管理员来说是有含义的，他们可以清楚的知道，是哪一个货架，哪一个位置。

当然，顾客到仓库里顺着货架和位置也可以找到商品，但是总归不太直观，挑选的过程还是得在楼上进行。

因此数据仓库就相当于宜家的一楼仓库，在这里，数据（家具）按照特定的模型，如FS-LDM等（货架-位置）组织起来，这种模型，对于顾客（业务人员，数据最终用户）是不友好的，但是对于科技人员（仓库管理员，宜家员工）来说相对友好，因为他按照一种更加集约化的规则将数据（家具）管理起来了，存放集中、规整，提取数据（提货）不用跨库（货仓）寻找，查找的效率更加高。

那什么是数据集市呢？

还是用这个例子，上文提到，数据仓库对业务人员不是很友好，同样，你总不能让顾客直接逛仓库吧？顾客的需求，是按照家具的种类分门别类，按照家庭的不同房间，组合在一起展示的，正如宜家楼上的展厅：

虽然也被吐槽像迷宫一样，但是总的来说，购物体验肯定比逛仓库来得好多了。

所以，数据集市就像宜家楼上的展厅，正如其名字“集市”一样，是一个面向最终用户（顾客）的数据市场，在这里，数据（家具）以一种更加容易被业务人员（顾客）接受的方式组合在一起，这些组合方式可能是多变的，因为业务人员（顾客）的需求是多变的，因此我们需要定期调整集市的计算口径（展厅的陈列方式），经常会创建新的数据集市（装修新的展厅）。

数据仓库和集市的概念理解了，其他一些相关问题也就迎刃而解，比如为什么有了数据仓库还要建数据集市？等等。

那什么是数据湖呢？

数据湖至今仍然没有一个特别标准的概念，各种概念中，比较统一的一点是数据湖存储的是未经加工的原始数据，包含结构化和非结构化的各类数据。数据玩家仍然尝试用上面的例子来解释。

大家都知道，宜家的家具是需要自己组装的，所以宜家的顾客们都有一些动手能力，他们突发奇想，所有的家具能不能全部拆散成零部件存放，由顾客们根据实际需要挑选零部件自行拼装？

所以，数据湖就是一个存储了所有企业内原始数据（家具零部件）的存储，这就带来一系列问题，加工后数据的存储已经非常复杂，原始数据则依赖更多的管理功能，不然数据又多又杂难以管理，数据湖会退化为数据沼泽。此外，原始数据如果缺少统一的数据标准，就像不同的家具零部件之间的接口不同，那就无法组装在一起了。

因此，数据湖必须有完善的数据管理功能，也依赖于统一的数据标准和良好的数据质量管理。

那什么又是数据中台呢？

数据中台也没有一个特别明确的定义，这里很难套用宜家的例子强行解释了，我们来看下各类数据平台：

在我们传统的数据应用中，随着数据对于业务友好度的增加，其时效性也在减弱。而我们的目标，显然是数据又快又好。既然各部门的需求都不一样，为何不让业务自助分析数据呢？于是我们有了右上角的目标状态。但是这个理想状态和我们现在的数据应用中间有巨大的空隙，靠什么来填补？答案就是数据中台。

我们可以将其分为狭义的数据中台和广义的数据中台。狭义的数据中台，指的是一套数据应用和工具，包括分布式ETL、数据资产管理、数据标签管理、数据沙箱、自助分析平台、元数据管理、数据质量管理等等，底层则已现有的数仓、大数据平台等为数据源，为企业提供数据资产管理的能力，并持续挖掘数据价值，持续提供数据智能服务。

广义的数据中台，则在狭义的数据中台基础之上，包含了顶层数据战略，数据治理体系以及数据管理及运营、数据文化培养和组织架构支撑，是一套持续管理和运营的体系。

可以这么说，狭义的数据中台，是专为达成数据中台的使命而打造，一类是让数据更快的处理、整合、加工，比如分布式ETL工具。

随着传统数据被大数据平台逐步替代，ETL工具对于大数据平台的适配业需要与时俱进，支持分布式计算、弹性计算，并且减少开发量

另一类是让数据更好的产生业务价值，比如数据标签管理，自助分析平台等。数据标签大家都在用，但是真正深度使用的企业都会感觉：建好容易用好难，如果没有一套标签管理系统，标签是否重复加工，标签的使用率、准确性等都无从掌控，业务部门想要针对近期营销活动新建一个标签，还得走开发流程，时效性也难以保证。

数据标签管理系统就是为了解决数据标签的使用问题而建立。自助分析平台则是方便业务人员自助进行数据分析、加工、探索的平台，它与数据沙箱结合，直接将去隐私化的生产数据提供业务人员分析，使数据更快的产生价值，支撑关键决策。

广义的数据中台，则是辅助狭义数据中台达成使命的机制，虽然看起来都很“虚”，但是却是数据中台成功落地的必要保障。

那所有这些都必须做吗？

这个问题要看具体的企业情况，总的来说，一个大原则是以满足业务发展为第一优先，不要为了做基础设施而做基础设施，一定要以能解决业务诉求为最终目的。

《人月神话》里早就宣告了银弹不存在，自然，数据仓库、数据集市、数据湖、数据中台都不是银弹，千万不能以为做了他们就水到渠成，数字化转型就自动完成了。

简言之，用了一系列时髦的新技术不见得就是数字化领军企业，不用也不见得就是古典互联网时代的落后作坊。关键是认清自身的数字化现状，拟定数字化目标，制定数字化路径，优选场景，实现价值。

新技术、各类数据基础设施只是这条道路上，一套套切实可行的行动方案，是把过去银行的种种数字化的尝试，重新以体系化、结构化的方法论梳理，并且赋予当下最新的技术架构予以实施。

数据仓库、数据集市、数据湖、数据中台到底有什么区别？相关推荐

4万字全面掌握数据库, 数据仓库, 数据集市,数据湖,数据中台
↑↑↑关注后"星标"简说Python 人人都可以简单入门Python.爬虫.数据分析简说Python推荐来源:数据社作者修鹏李One old watch, like brief ...
数据湖数据孤岛数据沼泽
数据仓库据仓库是一种存储架构,旨在保存从多个数据源提取的数据,这些数据源包括操作数据存储.事务数据存储,以及企业内的部门数据集市.数据仓库将数据组合为一种聚合.摘要形式,适合于进行企业级数据分析以及 ...
channelinboundhandler中都包含了哪一类的方法_数据仓库、数据集市、数据湖、数据中台到底有什么区别？都得做吗？...
点击上方蓝字关注数据玩家经常看到有人问这个问题,数据玩家也看过很多解释,感觉都不够直观,这里,我尝试用一个大家都理解的例子来说明. 什么是数据仓库? 大家都去宜家买过东西吧,还记得一楼的大仓库不,你 ...
数据湖+数据中台，金山云大数据平台竞争力如何？
随着疫情稳定,出行的解禁,正是拉动老客户消费和挖掘潜客的机会,那么银行在数字化时代的营销业务是如何实现的?首先在业务层面需要与各大电商平台.OTA.出行.O2O.线下餐饮.购物中心达成广泛的权益合作: ...
数据仓库、数据湖、数据集市、和数据中台的故事
数据仓库.数据湖.数据集市.和数据中台的故事如今,随着诸如互联网以及物联网等技术的不断发展,越来越多的数据被生产出来-据统计,每天大约有超过2.5亿亿字节的各种各样数据产生.这些数据需要被存储起来并 ...
[转]关于数据中台、数据平台、数据仓库、数据湖等数据概念的对比解析
前言 2010年左右,还是在上学的时候,学过一门课程叫<数据仓库与数据挖掘>,那还是属于传统数据的时代,我们会讨论什么是数据仓库?什么是数据集市?数据仓库和数据库有什么区别?等等,当我还在 ...
关于数据中台、数据平台、数据仓库、数据湖等数据概念的对比解析
前言 2010年左右,还是在上学的时候,学过一门课程叫<数据仓库与数据挖掘>,那还是属于传统数据的时代,我们会讨论什么是数据仓库?什么是数据集市?数据仓库和数据库有什么区别?等等,当我还在 ...
震惊！这篇文章解读数据仓库、数据湖、数据中台等概念，竟然写了4万字！
点击上方 "zhisheng"关注, 星标或置顶一起成长 Flink 从入门到精通系列文章如今,随着诸如互联网以及物联网等技术的不断发展,越来越多的数据被生产出来-据统计,每天 ...
4万字全面解读数据中台、数据仓库、数据湖等概念！建议收藏！
作者丨修鹏李建议阅读需50分钟如今,随着诸如互联网以及物联网等技术的不断发展,越来越多的数据被生产出来-据统计,每天大约有超过2.5亿亿字节的各种各样数据产生.这些数据需要被存储起来并且能够被方便 ...

数据仓库、数据集市、数据湖、数据中台到底有什么区别？

数据仓库、数据集市、数据湖、数据中台到底有什么区别？相关推荐

最新文章

热门文章