数据中台的数据仓库和商业智能BI的数据仓库本质上没有任何区别,都是在底层业务系统数据源和上层应用之间做了一个隔离层,进行上下两层的解耦合。从数据分析应用角度来讲,不管是大数据还是小数据,都是把业务系统中不规范、不规则的、不可分析的数据变成规范、规则、可分析的数据过程,都是把描述业务过程的数据模型变成描述业务分析数据模型的转换过程。不管你是做大数据、数据中台还是商业智能BI,只要实现数据仓库,本质过程就是这样的。

只是现在各种各样新的概念满天飞,很多人分不清楚。今天我想通过文字尽量把这个问题给大家讲清楚,能让大家看到一些本质上的问题。大家也可以看下之前讲的有关大数据、数据中台、商业智能BI方面的视频,可以结合起来看下。

一、数据仓库数据库类型的选择

从技术实现角度上来说,我们在通常的商业智能BI项目中,数据仓库大多构建在以关系型数据库为代表的数据库上。数据中台的数据仓库在底层是以大数据为基础架构的。

商业智能BI - 派可数据商业智能BI可视化分析平台

比如大数据的数据仓库Hive,就是构建在大数据Hadoop分布式基础架构之上。底层的HDFS分布式文件系统为海量数据提供文件式的存储,MapReduce为海量数据提供了计算能力。在Hive数据仓库上可以将Hive SQL转化成MapReduce任务与底层HDFS文件系统进行因映射和数据交互。

二、实现数据仓库的SQL

在商业智能BI的数据仓库中通过标准的SQL就可以进行数据的操作,数据中台大数据架构Hive数据仓库中是通过Hive SQL进行数据操作。但Hive SQL最初的设计目的就是为了让会SQL但是不会编程MapReduce的人也能使用Hadoop进行数据处理,所以在很多语法上不像标准的SQL那么灵活。所以商业智能BI的数据仓库和数据中台数据仓库在技术架构上,一个是基于传统关系型数据库来实现,一个是基于大数据来实现。操作底层数据的基本SQL有一些语法上的差异,但也大同小异。

三、数据仓库的分层实现

只要是数据仓库都会对数据进行分层处理和规划,比如在商业智能BI的数据仓库中我们讲到要构建ODS层,再构建DW里面的Dimension维度和标准的Fact事实层,到Data Mart 数据集市层,最后面向前端的商业智能BI可视化分析应用。数据中台数据仓库就提到了贴源层、统一数据仓库DW层、TDM、ADS层等等,最后也是面向应用端比如商业智能BI可视化分析。

              数据仓库 - 派可数据商业智能BI可视化分析平台

这些分层从本质上有区别吗?并没有,都是在讲一些概念。比如标签层,不就是描述一个对象、一个实体的分析维度属性吗?应用数据ADS层不就是我们通常讲到的数据集市层做一些数据的特定加工,比如聚合、跨事实的聚合去组装各种分析的基础数据表吗?所谓的One ID 打通的不就是在一个或者多个业务流程中通过ID编码将各类数据串联起来做一个ID的对照和映射关系吗?本质上都在做什么事情?数据的标准化分类、归档,将不规范、不规则、不可分析的数据变成一种规范、规则、可分析的数据过程。这就是为什么像商业智能BI数据仓库要进行分层实现。

可以这么来说,十来年前商业智能BI的数据仓库怎么构建的,现在的数据中台数据仓库就是怎么构建的,一样的写SQL、做分层、打标签、建模型,并没有什么特殊的。

四、指标的定义

像原子指标、衍生指标、组合指标、过程指标、结果指标,这也不就是我们通常在商业智能BI里面按照用户分层,越面向一线业务的越关注的是原子性的基础性指标,看的是基础的二维明细数据统计报表,越偏向高层管理的越关注的是高度聚合的结果性指标。

指标 - 派可数据商业智能BI可视化分析平台

中间要是去追过程的话就去看过程指标,所谓衍生、组合不都是基于原子性指标计算来的吗?这不就是非常简单的指标梳理、指标计算的商业智能BI实现过程吗?有非常特别的地方吗?并没有。

五、ETL和ELT

还有人会提到传统的商业智能BI数据仓库是ETL,数据中台就是ELT,这些还是在玩一些概念。所谓的ELT就是先把原始数据抽取加载到数据仓库贴源层,再进行数据的转换,这样既保留了原始数据,又可以充分利用大数据的计算能力做转化操作。

我想问下这些概念的提出者,商业智能BI的数据仓库在处理数据的时候不也是这么干的吗?不也是把各个业务系统原始数据给抽取到ODS原始数据层之后再去加工形成DW,做维度表和事实表的划分吗?有没有区别,也没有区别啊,都是这么干的啊。

维度 - 派可数据商业智能BI可视化分析平台

只是按照ELT的说法,商业智能BI数据仓库在从业务系统抽取数据的时候就直接在SQL里面对数据进行一些转换,落到数据仓库表的时候存储的是已经进行清洗和格式转化之后的数据,所以这样就不好。所以结论就是你们还在讲ETL,太Low了,现在大家都是ELT了。

说到这里也差不多了,通过上面几个点大家就能够看出来,很多概念本质上都是相通的,也回到了主题的数据中台的数据仓库和商业智能BI的数据仓库区别之间的讨论上。

所以,如果你只是听了一个新鲜的概念,就急于拿这些概念来否定一些传统的概念,我觉得大可不必,还是先把一些基础的概念弄明白了再回头看看这些说法对不对。

总结

这样讲并不是去否定大数据、数据中台。传统商业智能BI数据仓库也是有它自己的不足之处的,比如传统商业智能BI数据仓库存储能力、传统ETL的数据处理能力、算力就摆在那,是有数据存储和处理效率瓶颈的。

数据战略 - 派可数据商业智能BI可视化分析平台

比如每天要是处理多少个TB以上的数据,一般的ETL肯定是搞不定的,就算是T+1的方式,晚上跑八个小时到早上也有可能就处理不完,这个时候底层就一定要借助大数据的数据处理能力来解决这些问题。但对于大部分的企业,数据量达不到这种程度,一般的商业智能BI数据仓库和ETL是完全可以搞定的,根本就到不了大数据、数据中台这种量级。

还有像实时数据处理、数据资产管理、数据服务等等,这些也都是传统的商业智能BI数据仓库都不具备的能力,如果企业对这种诉求非常迫切也是可以考虑规划大数据、数据中台这些技术架构的。并且现在很多大数据、数据中台的搞法是把它们数据仓库的数据推送到一个中间库,商业智能BI再从中间库取数做分析展现。

基于数据中台的商业智能BI应用 - 派可数据商业智能BI可视化分析平台

所以是把原来商业智能BI的数据仓库算力的那一部分释放到大数据、数据中台的数据仓库中去实现,中间库的作用就相当于原来商业智能BI数据仓库的数据集市层,纯粹是未来分析展现来使用。但我们的建议这个中间库其实还是要做成数据仓库,只是会做的薄一些,还是要保留基础的维度和事实,只不过事实表做的宽一些而已。

我认为技术并没有高低之分,面对不同的问题解决的方式不同,选择的技术路线不同。

所以,创新一些概念本来也没有错,错的是把这些概念当成尚方宝剑就去急于否定一些很传统的、有着很多年实践落地沉淀的经验总结,这种做法是不对的。

好的,今天的分享就到这里,后续还会持续更新大数据、数据中台、商业智能BI、数据分析等知识,喜欢我们内容的朋友欢迎关注点赞收藏支持,非常感谢大家。

数据中台的数据仓库和商业智能BI的数据仓库有什么区别?相关推荐

  1. 戏说数据仓库,商业智能BI中数据仓库的本质是什么?

    平时和朋友聊天,一谈到商业智能BI总是离不开数据仓库,有很多人不太明白数据仓库到底在商业智能BI项目中有什么作用,对数据仓库的作用有些争论,所以今天来聊聊数据仓库,探讨下数据仓库的真正用处. 数据仓库 ...

  2. 五十六、 白话讲解商业智能 BI、数据仓库 DW、数据挖掘 DM

    商业智能 BI.数据仓库 DW.数据挖掘 DM 商业智能BI(Business Intelligence) .相比于数据仓库.数据挖掘,它是一个更大的概念.商业智能可以说是基于数据仓库,经过了数据挖掘 ...

  3. 商业智能BI,大数据时代的新趋势

    根据IDC预测,2025年时中国产生的数据量预计将达48.6ZB,在全球中的比例为27.8%.在未来,数据会是构建现代社会的基本要素,也是社会的基本建设.这也不禁让我想起了最近新公布的<关于构建 ...

  4. 商业智能BI全解,一文让你明白才是商业智能(BI)

    目前来看,现今世界未来的发展方向基本已经确定,数字化的趋势已经化身为一股不可阻挡的浪潮,各国也都宣布了数字化.数据.数字经济.数字化转型等方面的相关发展政策法规,明确未来的战略方针.同时世界传统经济增 ...

  5. 商业智能BI的前景如何?看完这篇文章你就明白了

    近日,IDC国际数据公司发布了<2021下半年中国商业智能软件市场跟踪报告>,其中提到的关于商业智能BI的市场数据就是现阶段商业智能BI情况的最好呈现,具体表现为2021年下半年中国的商业 ...

  6. 商业智能BI全解析,探寻BI本质与发展趋势

    随着数字经济.数据价值的日益增长,以及市场竞争愈发激烈.用户需求不断变化.产业革命日渐频繁等等因素的影响才,企业开始围绕数据构建一套全新的现代化商业体系,以用户为中心,以数据为基础,进行商业创新,提高 ...

  7. 一文详解!对于企业来说,商业智能BI到底有什么意义

    随着信息化和数字化在社会各方面的推行,数字经济.数据资产成为了当前各行各业企业寻求的新发展.自2020年数据成为第五大生产要素之后,数据就被很多人誉为新时代的"石油",也让很多人对 ...

  8. 数字时代,商业智能BI的落地意味着什么

    自数字时代到来之后,各行各业的企业纷纷开始了信息化建设.数字化转型等对企业进行改制,从业务流程开始重建企业的生态.在这次大规模的转型革命中,数据成为了企业核心的要素. 数据在当前时代已然成为了重要的战 ...

  9. 一文详解!你真的了解商业智能BI吗?

    关注新闻的朋友们可能注意到了,最近这段时间关于数据要素.数字经济.数字化转型的相关行动越来越多,一方面是各级政府的政策规划以及大规模的发展行动,另一方面是则是各行各业的企业开始探寻数字经济,通过数字化 ...

最新文章

  1. 【转载】locust性能测试3
  2. 【连载】优秀程序员的 45 个习惯之习惯33
  3. MySQL Cluster 用户权限共享 (各sql节点同步)
  4. python用户登陆,Python入门基础--用户登陆
  5. Spring for Apache Hadoop 1.0发布
  6. git基础管理--操作远程仓库
  7. IDEA配置插件,插件使编程更快速
  8. 如​何​计​算​当​地​的​中​央​子​午​线​经​度
  9. mysql如何设置数据库内存溢出_MySQL数据库之关于MySQL的整型数据的内存溢出问题的应对方法...
  10. 摄影基础知识(光圈、快门、感光度等)
  11. docker操作记录-5
  12. 【附案例】UI交互设计不会做?设计大神带你开启动效灵感之路
  13. 【数据库系统】、【数据库】与【数据库管理系统】的区别
  14. C# Excel 操作
  15. 从零实践强化学习之连续动作空间上求解RL(PARL)
  16. Eclipse官网地址
  17. 职场新人应该如何培养项目管理的能力?
  18. leetcode 605 种花问题 (c++和python)
  19. 2021-2026年,全球MPO光纤连接器市场复合年增长率预计为23.2%
  20. 泰克示波器使用知识总结

热门文章

  1. 用excel做数据分析必知的编程语言
  2. 为什么我感觉永远满足不了公司的要求?
  3. VSCode取消注释斜体
  4. MEC@JavaSE@实战篇@笔记05@计算机网络技术基础
  5. MySQL 字符串删除表情符_字符串中Emoji表情处理
  6. HTML制作WORD表格
  7. 6月3日至5日 服务器信息维修,2015年6月3日维护公告
  8. web爬虫之登录google paly 商店
  9. 五大学科竞赛(三)-o2 -lm编译选项
  10. Machine learning system design - Error analysis