相信很多人都在最近的招聘市场上看到过招聘要求里提到了数据仓库、数据中台,甚至还有数据湖,这些层出不穷的概念让人困扰。今天我就来跟大家讲一讲数据仓库、数据中台以及数据湖的概念及区别。

数据库

在了解数据仓库、数据中台以及数据湖之前,我们首先要先认识一下数据库,因为这几个概念都离不开数据库的支持。

数据库是按照数据结构来组织、存储和管理数据的仓库,是一个长期存储在计算机内的、有组织的、可共享的、统一管理的大量数据的集合。简单来说,数据库就是按结构存取数据的地方。

数据仓库

数据仓库(Data Warehouse)是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合,用于支持管理决策。

  • 面向主题的:根据使用者的需求,将来自不同数据源的数据围绕着各种主题进行分类整合。
  • 集成的:来自各种数据源的数据按照统一的标准集成于数仓中。
  • 相对稳定的:数仓中的数据是一系列的历史快照,不允许修改或删除,只涉及数据查询。
  • 反映历史变化的 :数仓会定期接收新的集成数据,从而反映出最新的数据变化。

简而言之,数据仓库也是存储数据的地方,但不同于数据库的是数据的来源有很多种,并且可以统一在数据仓库中进行汇合,然后通过统一的建模,加工成服务与数据分析的数据模型,辅助企业进行分析决策。

在这里还要再提一个概念,就是经常会跟随数据仓库一同出现的——数据集市。通常来说,数据集市是由数据仓库产生的基于部门级或者工作组级别的特定主题的数据分析环境。这两个之间最大的区别在于数据范围的不同,数仓是基于企业搭建的环境,而数据集市则是基于部门搭建的特定分析环境。

数据中台

数据中台是将各个业务板块多年来积累的数据,按业务特征进行横向关联和统一,按数据用途进行纵向分层,最终沉淀为公共的数据服务能力。数据中台最典型的例子就是阿里巴巴的 ONEID 体系,也有说 ONEDATA 体系的,数据中台一说也是源于阿里巴巴的云栖大会。

要更好地理解数据中台,可以结合着数据仓库的概念来解读。前面已经提到了数仓聚合多种数据源并进行统一建模最后加工成数据模型辅助企业决策,而数据中台则不仅仅包含了数仓的功能,还能根据数据的表现支持精确推送、商品推荐等数据变现的业务,能够把数据资产变成数据服务能力。

数据湖

数据湖相对数仓和数据中台来说是比较偏技术向的概念,它是一套产品组合起来的解决方案,其最主要的作用就是存储来自不同设备端、不同应用、不同渠道的所有原始数据,包含了关系型和非关系型数据。数据湖就像是一个数据工厂一般,先把所有的数据往里搬,然后再根据业务的需要进行数据的加工,同时这个工厂也具备了一定的科研能力,会对数据进行挖掘分析,进而帮助预测和发现问题。

写在最后

产品经理虽然不需要懂技术,但对于市场上新兴和比较火爆的概念一定要有足够的认知了解,才能在需要的时候为团队为产品创造更大的价值。

想了解更多产品经理相关的知识和经验,欢迎关注我,和我一起共同进步。

数据仓库、数据中台、数据湖都是什么?相关推荐

  1. 数据中台(数据集成篇)

    Python微信订餐小程序课程视频 https://edu.csdn.net/course/detail/36074 Python实战量化交易理财系统 https://edu.csdn.net/cou ...

  2. 数据中台数据分层架构

    数据中台数据分层架构 一.数据分层 To-Be 二.数据分层 AS-IS 三.数据分层 AS-IS + 迁移 四.星环数据迁移到数据中台 五.数据流图STG层原则 六.数据流图ODS层原则 七.数据流 ...

  3. 大数据数据中台数据治理系列

     本系列整理了大数据以及大数据治理相关介绍文章,欢迎大家收藏和留言讨论. (持续更新中...) 序号 主题 快捷访问 1 数据中台系列 什么是数据中台? 2 数据中台数据分层 3 数据中台建设五部走 ...

  4. 万字详解数据仓库、数据湖、数据中台和湖仓一体

    本文目录: 一.前言 二.概念解析 数据仓库 数据湖 数据中台 三.具体区别 数据仓库 VS 数据湖 数据仓库 VS 数据中台 总结 四.湖仓一体 目前数据存储方案 Data Lakehouse(湖仓 ...

  5. 详解数据仓库、数据湖、数据中台和湖仓一体

    一.前言 数字化转型浪潮卷起各种新老概念满天飞,数据湖.数据仓库.数据中台轮番在朋友圈刷屏,有人说"数据中台算个啥,数据湖才是趋势",有人说"再见了数据湖.数据仓库,数据 ...

  6. 数据仓库、数据湖、数据中台和湖仓一体

    本文目录: 一.前言 二.概念解析 数据仓库 数据湖 数据中台 三.具体区别 数据仓库 VS 数据湖 数据仓库 VS 数据中台 总结 四.湖仓一体 目前数据存储方案 Data Lakehouse(湖仓 ...

  7. 阿里架构师用3点讲透数据中台,这些都是你没看过的

    数据实际上是一个非常传统的行业. 有软件开始的那一天起,数据这个行业就存在了.比如说原来最早的时候,有非常多的数据报表数据可视化,然后到后来,有了商业智能,有了Data Warehouse(就是数据仓 ...

  8. 再问数据中台-数据中台和数据仓库,数据平台的关系是什么?

    早期,企业的数据是少量的,利用Excel等数据文件处理工具来进行统计和手工分析. 然后,企业希望能够更快的处理比较多的数据,就有了数据仓库的出现,也希望利用数据来支撑运营和分析.接下来不仅有了结构化数 ...

  9. 数据中台: 数据产品的自动化生产线

    直到数据产品的出现,才真正让"数据是企业资产"这句口号赋予真正含义,让数据资产变现. 既然有数据产品,那就应该有数据供应链.数据中台作为数据供应链的中间环节,也是最核心的环节,负责 ...

  10. 再问数据中台 - 数据中台的典型架构是怎样的?

    数据中台是直接服务于业务系统的数据服务工厂,狭义上讲,数据中台就是可复用的数据API. 站在企业架构的角度,从广义上来讲,数据中台(包含数据平台,数据仓库)应该提供的服务如下图所示: 1.数据资产的规 ...

最新文章

  1. Thinkphp 零散知识点(caa/js路径,引入第三方类,ajax返回,session/cookie)
  2. 代码总是被嫌弃写的太烂?装上这个IDEA插件再试试!
  3. leetcode 151. 翻转字符串里的单词 c代码 三种方案
  4. 文巾解题 627. 变更性别
  5. 3DSlicer29:Debug or Dev-170918
  6. SQLite For .Net 已经整合了32位和64位
  7. Could not load driverClass “com.mysql.jdbc.Driver“
  8. Redis进阶实践之十八 使用管道模式提高Redis查询的速度
  9. JavaScript笔记 03:数组
  10. 读计算机网络得学五笔吗,打破无聊难学 另类五笔学习方法
  11. [ JAVA ] 共有前缀
  12. Git:Github镜像网站
  13. Cheat sheet -----几乎所有编程语言的速查表
  14. 第七届科技节获奖及建模论文相似度名单公示
  15. 设计一个计算器,实现0-9数字间的加减乘除运算
  16. 计算机的内存条比硬盘,电脑硬盘比内存条还小,全是这个协议的功劳!
  17. 【Android】来电监听
  18. 给领导送茶怎么做能体现价值?别傻乎乎说价格,高手用3个潜规则
  19. RPG游戏《黑暗之光》流程介绍与代码分析之(六):背包系统的实现(下)
  20. 基于c语言的自动泊车系统软件设计,基于单片机的自动泊车系统实验平台的设计.doc...

热门文章

  1. jzoj2248 送快递 (很鸡儿巧的题)
  2. python学习笔记05 字典dic增删查改常用操作及嵌套
  3. Coinbase老鼠仓疑云 |链捕手
  4. PAT 乙级 1032 挖掘机技术哪家强 (20分)
  5. 基于分解的改进型双目樽海鞘算法在有多辆自动导引车的柔性制造蜂窝环境中的绿色调度问题
  6. android 亮化图片,LEDLAMP(led灯光控制)
  7. Jenkins高级篇之Pipeline技巧篇-1-小白搭建Pipeline项目开发环境
  8. spring context 学习总结(注解功能,配置文件,jar包)
  9. 计算机错误是0还是1,Win7电脑死机后蓝屏出现错误代码0*000000D1怎么解决
  10. 利用python对图像进行傅里叶变换_python实现图像傅里叶变换