不知道大家有没有发现,这几年的数据领域有好多的概念,例如:大数据、人工智能、物联网、边缘计算、数据治理、数据湖、数据中台、数据可视化……。这说明数据这个领域真的很“火”,可谓是“百花齐放”!

纷至沓来的新概念在推动社会的数字化发展的同时,给相关领域的从业人员带来了一定的困惑。再加上,一些“别有用心”的厂商不遗余力的“忽悠”和“炒作”,导致了很多人的迷茫困惑、心浮气躁!

有的人一味追求新概念、新技术而脱离了业务、脱离了实际,认为新概念(例如:数据中台)能够“包治百病”,一些企业花费很大的成本买来数据中台之后才发现:在人家那儿是治病的良药,而到了你这里却成了“埋人的深坑”。所以有人叫苦道:“中台搞了2年,项目叫停,CIO被裁!本以为是个送分题,没想到是个送命题!”

面对着纷繁芜杂的新概念,面对着浩瀚的数字化海洋,面对着“厂商们”的炒作,不论是企业,还是我们这些IT从业人员,都需要保持好初心,坚守初衷。不要看:“人家都【数据中台】了,你还在做数据报表,人家都【数据湖】了,你还在搞数据仓库,人家都【人工智能】了,你还在抽数、取数”!

这里说明下,我并不是一个顽固的守旧派,也不是排斥新概念、新技术。

反而,我也非常喜欢研究一些新概念,也非常支持大家对新的概念、技术进行探索和实践。但要强调的是,企业也好,个人也好,在使用引进或使用一个新概念和新技术的同时,不要忘记问自己:我们使用它们的初衷是什么?

坚守初心,不被繁杂的概念所迷惑,才能找到适合企业或个人的数字化转型之路!

数据湖和数据中台的概念

我们先说说数据湖

数据湖概念的提出时间是仅次于大数据,可以说是一个很老的概念了。笔者认为数据湖本质上就是一个大数据平台,它随着大数据的技术不断完善,目前成熟的数据湖体系已具备了大数据存储、大数据处理、机器学习、大数据分析等等能力。

国外公司好像对数据湖情有独钟,像亚马逊的AWS、Informatica、IBM、微软等公司都有数据湖的相关产品和解决方案。而在国内,数据湖到底是个啥?他有啥用?时至今日依然存在着不少的争议。

我们再说数据中台

对于数据中台,笔者阅读了很多大咖的文章,查阅了很多资料,也没有找到关于数据中台的标准定义。

很多企业都试图给数据中台下一个标准的定义,尽管各家的说法都略有差异,并不相同,但却也有异曲同工之妙!那么,数据湖与数据中台到底有什么关系?我们不妨先看一看业界典型的数据湖和数据中台架构。

典型的数据湖和数据中台架构

1、亚马逊AWS数据湖

亚马逊AWS看来:“数据湖是一个中心数据存储的容器,这个容器可以存储格式化、非格式化的各种各样的数据;这些数据非常容易被快速缩放、有各种方法和工具对这些数据进行查询、可以做各种各样的分析”。

2、阿里系数据中台

作为“中台”的开山鼻祖——阿里巴巴的数据中台全景图如下图所示:

阿里巴巴数据中台核心内核是OneData体系,即数据中台构建的方法论体系总称,包括数据构建管理的OneModel,实现数据融通连接的OneID,再到提供统一数据服务的One Service,贯穿于整个数据研发流程中并且通过工具实施落地,帮助企业高效建设及管理数据。

阿里巴巴数据中台

实际上阿里的数据中台并不是一套产品,而是阿里的数据中台方法论体系+生态产品。

数据湖与数据中台的关系

看过了各大厂的数据湖和数据中台,我们回过头来再来看数据湖与数据中台的关系。

大数据时代,数据量越来越多,数据形式日益复杂,而以数据仓库为代表的、现有的数据存储和处理技术无法满足海量、多样的数据处理需求的背景下产生的。“数据湖”是将复杂的事物具象化,偏技术一些,以一个形象的名字,反应了它在大数据存储和大数据处理方面的优势和能力。

数据湖作为一个集中的存储库,可以在其中存储任何形式(结构化和非结构化)、任意规模的数据。在数据湖中,可以不对存储的数据进行结构化,只有在使用数据的时候,再利用数据湖强大的大数据查询、处理、分析等组件对数据进行处理和应用。因此,数据湖具备运行不同类型数据分析的能力。

数据中台从技术的层面承接了数据湖的技术,通过数据技术,对海量、多源、多样的数据进行采集、处理、存储、计算,同时统一标准和口径,把数据统一之后,以标准形式存储,形成大数据资产层,以满足前台数据分析和应用的需求。

数据中台更强调应用,离业务更近,强调服务于前台的能力,实现逻辑、算法、标签、模型、数据资产的沉淀和复用,能更快速的相应业务和应用开发的需求,可追溯,更精准。

数据湖和数据中台哪家强?

我们都数据中台了,为什么老外还在数据湖?

随着以大数据、云计算、人工智能等新技术为主要特征的到来,大数据战略的布局和“新基建”的发展,我相信,在这场数字化的变革中,我们的技术创新能力也一定会追上!

最后,再回答网友的一个问题:数据湖与数据中台哪家强?

在笔者来看,不论是数据湖还是数据中台,都是“千人千面”的,不同的人理解不同,数据湖和数据中台也没有孰弱孰强之说。

对企业而言,不为眼花缭乱的“概念”所迷惑,一切要从实际需求出发,不能人云亦云,盲目跟风,也不能墨守成规、固步自封。

企业数据项目的建设还是应当从企业的业务需求出发构建与企业相匹配的一套数据管理和使用流程,以及与之需求相匹配的数据平台和工具。

阿里数据中台大火,国外却在建设数据湖,这两者什么关系?相关推荐

  1. 数据中台(01)- 全面了解数据中台

    文章目录 01 数据中台起源 02 数据中台的定义 2.1 数据中台建设目标 2.2 如何实现建设目标 2.3 数据中台定义与特点 03 大数据平台与数据中台 3.1 为什么要建设数据中台 3.2 数 ...

  2. 爱奇艺数据中台负责人马金韬:数据中台建设与应用

    中生代技术 链接技术大咖,分享技术干货 接力技术,链接价值 本文根据马金韬老师在[deeplus直播第233期]线上分享演讲内容整理而成.首发于公众号dbaplus,经授权转载(文末有获取本期PPT& ...

  3. 数据中台交付专家告诉你,数据架构的分层怎样更加合理?

    作者:柯根 从整体上看,数据中台体系架构可分为:数据采集层.数据计算层.数据服务层三大层次.通过这三大层次对上层数据应用提供数据支撑. 数据采集层 对于企业来说,每时每刻都在产生海量的数据,数据采集作 ...

  4. 阿里数据中台底座的12年建设实践

    阿里巴巴数据平台发展的四大阶段 构建数据中台,一个强大的数据平台作为底座必不可少. 阿里巴巴数据平台发展的四个阶段,一定程度上其实也是阿里巴巴数据中台发展的四个阶段.这四个阶段里,你可以看到阿里巴巴对 ...

  5. 赠书 | 如何建设数据中台?看这份企业数据能力测评就够了!

    作者 | 耿立超 来源 | <大数据平台架构与原型实现:数据中台建设实战> "我的企业目前在数据应用上处于什么水平?接下来应该朝哪个方向努力?"本文试图帮助企业决策者和 ...

  6. 数据中台 画像标签_如何通过数据中台标签平台,圈出产品高价值用户?

    编辑导语:对于不少公司来说,自身拥有的资源是有限的,因此需要进行差异化运营,将资源着重倾斜给高价值的用户,首先满足他们的需求,缩减分给低价值用户的资源.那么,应该如何去做呢?本文作者通过数据中台标签平 ...

  7. 奇点云数据中台技术汇(八) | 数据治理——企业数字化转型的基石

    1 为什么要进行数据治理? 首先,数据是有价值的.根据埃森哲发布的"2035年之前各行业的平均GDP增长率",单纯看自然增长,制造行业只有2.1%,但是通过数据以及由此衍生出来的人 ...

  8. 数据中台-架构、构建与体系建设

    数据中台-架构.构建与体系建设 数据中台架构 数据中台构建方法论 技术体系 数据体系 服务体系 运营体系 数据中台功能架构 数据中台技术架构 企业构建数据中台评估 统计分析阶段 决策支持阶段 数据驱动 ...

  9. 数据中台初探与应用实践,28页ppt详解

    点击"技术领导力"关注∆  每天早上8:30推送 来源:技术琐话 本文是徐桢虎在线直播中主题<数据中台初探与应用实践>内容整理. - 1 - 为什么需要数据中台 当企业 ...

最新文章

  1. java 清空控制台_利用原生库和JNI(Java原生接口)实现H2数据库漏洞利用
  2. k8s使用kube-router网络插件并监控流量状态
  3. Java 地位不保,落后已成定局 ?| 10月编程语言排行
  4. 代码片段管理器——SnippetsLab
  5. 第6周第4课:复习及扩展知识
  6. SAP BDT业务数据工具集的开发原理及应用实例
  7. git 如何同步本地tag与远程tag
  8. 实录分享 | 计算未来轻沙龙:大规模数据存储与挖掘(PPT下载)
  9. 执行maven clean package 时报OutOfMemoryError的解决办法
  10. ORACLE数据库常用命令总结
  11. mac qt编译出现问题的解决方法
  12. VC2008中使用GDI+(转)
  13. Windows Server 2012正式版RDS系列⑻
  14. 图像读取函数cv::imread()的几种使用方式
  15. cesium之地图显示坐标、比例尺、海拔高度效果篇
  16. 项目范围管理论文提纲
  17. Docker部署Ghost
  18. 安装教程 | 在谷歌安装印象笔记插件(实用,在谷歌浏览器添加印象笔记插件,整理遇到bug,收藏解决bug的文章)
  19. 利用VS软件生成可执行的文件(.exe文件)
  20. R7900P/R7960P/R8000P梅林固件

热门文章

  1. SQL Server Junior Database Administrator方案相关的访谈问答
  2. SqlPackage.exe –使用bacpac和PowerShell或Batch技术自动执行SQL Server数据库还原
  3. azure机器学习_Azure机器学习中的数据清理
  4. 查询sql执行计划_使用SQL执行计划进行查询性能调整
  5. sql server 分区_SQL Server:锁定设置以用于增强分区功能
  6. SQL Server商业智能功能–创建简单的OLAP多维数据集
  7. Android在WindowManagerService和ActivityManagerService中的Token
  8. 树莓派+android things+实时音视频传输demo之遥控小车
  9. 禁用ViewPager边界滑动效果(转)
  10. Ajax基础--创建XMLHttpRequest对象