我们通常讲到商业智能BI数据同步的机制一般是T+1模式。就像炒股里面也是T+1,当天买入的股票,到下个交易日比如明天卖出。所以这个T,有的人理解为Today今天,或者Trade 交易日,都没有问题。

如果像周末、节假日不交易的话,就理解为Trade交易日就好了。对商业智能BI而言,这个T可以理解为Today当天,T+1就是数据每天同步一次,现在看到的数据是头一天的,明天看今天的数据。

所以,商业智能BI对数据的同步是有滞后性的,并非实时的,但这种方式是完全可以满足绝大部分企业的商业智能BI诉求。

商业智能BI的实时性诉求

讲到这我就想起我们以前去过的一家贸易流通的公司,某产品国内总代,业务发展不错。我们在讲到商业智能BI的T+1数据同步机制的时候,对方的CIO和老板就追着这个问题不放。非要做到页面数据完全实时,秒级实时,要搞成像天猫、双11那个大屏一样,问你们能不能做。

数据可视化大屏 - 派可数据商业智能BI可视化分析平台

这个问题不是很好正面回答,完全实时是非常有难度的,谁都不敢完全保证。因为这个不是业务系统,这个是商业智能BI分析系统,分析系统就是有取数过程的时间损耗和指标计算过程的时间损耗的。所以我们的顾问就没有正面回应,就还在解释商业智能BI是如何实现的。

对方听的可能没有耐心了,就直接打断说你们不要解释这些东西,就回答我们能不能做就行了,我们就要实现这个功能。你们商业智能BI的产品技术要是做不到,就直接说,不要遮遮掩掩。要是能实现,钱不是问题。

现场听的这种感觉其实不是很好,并且特别是说钱不是问题的往往到最后都是钱的问题。出于尊重客户,我们还是答应回去碰下技术实现方案再报价。我们后面了解到这家公司又找了其它几家大数据、商业智能BI公司,包括一家大厂,也是这么提要求的。

由于客户也没有明确的预算,那大家该怎么报就怎么报了,结果报完之后客户反馈太贵了不做了。我们就填报、几个大屏、十来张张报表你们搞的这么贵。是啊,就这么一点东西,你非要搞什么实时、搞大数据架构,还评估软硬件资源,这种就是典型的瞎折腾。

数据可视化大屏 - 派可数据商业智能BI可视化分析平台

这家公司的CIO也成为了整个公司信息化建设的瓶颈,因为很明显很多基础性的技术性原理没有搞明白,商业智能BI讲解了也还是没有听懂。对于CEO坚持的错误想法也没有进行及时的纠正,对需求和投入没有做出充分的评估,这种沟通对大家双方都是一种严重的时间和精力上的浪费。

为什么商业智能BI采用T+1模式

我来讲下为什么商业智能BI采用T+1模式,它的数据处理过程大概是什么样子的。

商业智能BI的数据仓库架构本身就决定了对数据的实时性要求没有那么高,ETL的过程不可或缺,Extraction 抽取、Transformation 转换、Loading 加载,这三个环节本身就是有时间损耗的。

商业智能BI - 派可数据商业智能BI可视化分析平台

首先,Extraction抽取,这些业务数据要使用SQL或者ETL工具从业务数据库查询并通过网络传输加载到商业智能BI数据仓库,视数据量的大小这个查询和加载会花费一定的时间,比如五分钟、十分钟甚至更长。这只是其中的一个查询,所有查询和加载全部执行完短则几分钟,长则小时算很正常。

第二,数据加载到商业智能BI数据仓库中了,数据要被加工处理,比如去重、合并、循环计算等等算出各种指标放到数据仓库不同的层里面,这个数据处理的过程在商业智能BI里是最耗时间的,几十分钟到几个小时。指标越多,业务逻辑越复杂,计算处理花的时间越长。 这个就是ETL处理的核心,Transformation 转换。

第三,Transformation 转换处理后的数据要写入到目标表比如商业智能BI中维度表、事实表里面,即Loading 加载。

数据仓库 - 派可数据商业智能BI可视化分析平台

ETL是商业智能BI数据仓库的数据处理关键,其中E是数据源头,T是中间数据计算处理的过程,L是将计算结果写入、加载到目标表。

大家看看,把这三个阶段的时间加起来,这个时间周期是不是很长,是没有办法实现商业智能BI的实时分析的。

并且很多时候白天业务系统有人可能会用的比较晚,有些数据业务部门更新的时间也比较晚。所以大部分情况下,商业智能BI都会选择在晚上12点以后执行ETL的调度从业务数据源将12点以前的所有已更新的数据同步过来处理。

所以,通常商业智能BI在晚上先把前两个阶段的事情给处理了,所有的数据都抽取、加工、计算完了,都提前存放在数据仓库里。第二天页面在刷新的时候直接访问的是已经计算好的数据仓库的数据,这样就很快了。

数据可视化 - 派可数据商业智能BI可视化分析平台

如果大家碰到再有人问到商业智能BI数据的实时性的时候,就可以把这个过程讲的对方听一听,正常情况下大家应该还是可以听明白这个过程的。

那有没有什么方式能够实现指标在商业智能BI可视化页面上的实时分析、实时展现呢,或者准实时也可以啊,欢迎关注更新,下篇文章我们再来介绍。

如何正确理解商业智能BI的实时性?相关推荐

  1. 如何正确理解商业智能(BI)?

    为了让读者更加清晰地把BI与MIS系统区别开来,本文讨论了BI与DSS(决策支持系统).EIS(经理执行系统)的主要区别.最后,本文分析了制约BI健康发展的若干因素. 引言 商业智能(BI)是目前在国 ...

  2. 深度解析商业智能 BI 企业服务市场的快与慢

    一.初探商业智能BI 商业智能 Business Intelligence 是一套由数据仓库.查询报表.数据分析等组成的数据类技术解决方案,它的主要目的是将企业中不同业务系统例如 ERP.CRM.OA ...

  3. 城市燃气运营模式解析与商业智能 BI 分析知识体系

    上期文章推荐:500强企业财务报表的数字化战略解读 01 城市燃气介绍 城市燃气(包括民用.商业和工业燃气等)是由几种气体组成的混合气体,其中含有可燃气体和不可燃气体.目前主要使用的城市燃气种类包括天 ...

  4. 实时商业智能BI(二):合理的ETL架构设计实现准实时商业智能BI

    今天来讲下利用 ETL 架构设计和调整来实现 商业智能BI 某些指标的准实时处理和展现.比如一小时更新一次,或者几分钟,一分钟,甚至几秒,也是可以的. 商业智能BI数据仓库ETL架构 一般的 商业智能 ...

  5. 商业智能BI全解,一文让你明白才是商业智能(BI)

    目前来看,现今世界未来的发展方向基本已经确定,数字化的趋势已经化身为一股不可阻挡的浪潮,各国也都宣布了数字化.数据.数字经济.数字化转型等方面的相关发展政策法规,明确未来的战略方针.同时世界传统经济增 ...

  6. 商业智能BI全解析,探寻BI本质与发展趋势

    随着数字经济.数据价值的日益增长,以及市场竞争愈发激烈.用户需求不断变化.产业革命日渐频繁等等因素的影响才,企业开始围绕数据构建一套全新的现代化商业体系,以用户为中心,以数据为基础,进行商业创新,提高 ...

  7. 一文详解!对于企业来说,商业智能BI到底有什么意义

    随着信息化和数字化在社会各方面的推行,数字经济.数据资产成为了当前各行各业企业寻求的新发展.自2020年数据成为第五大生产要素之后,数据就被很多人誉为新时代的"石油",也让很多人对 ...

  8. 数字时代,商业智能BI的落地意味着什么

    自数字时代到来之后,各行各业的企业纷纷开始了信息化建设.数字化转型等对企业进行改制,从业务流程开始重建企业的生态.在这次大规模的转型革命中,数据成为了企业核心的要素. 数据在当前时代已然成为了重要的战 ...

  9. 数字化时代,全方位解读商业智能BI

    商业智能BI是一种通用的数据类技术解决方案,不会因为行业BI没有进行针对性开发而出现不适配.无法使用的情况.同时,也正因为商业智能BI核心是数据,只要企业有数据沉淀,不管是哪些行业BI商业智能都能发挥 ...

最新文章

  1. linux下的lamp环境的搭建!!!
  2. 降低网络拥塞,追求美好体验——对话拍乐云首席科学家章琦
  3. web.xml配置(转)
  4. Linux学习笔记(一)------实操排雷
  5. 电压压力蕊片_一文让你知道什么是压力变送器
  6. 虚拟机安装jdk步骤及命令
  7. Java 10:局部变量类型推断
  8. matlab已知ft求f2t,基于Matlab的信号与系统实验指导2
  9. RN的stylesheet的属性及方法
  10. (01)OpenGL es中只在指定区域渲染view
  11. Android SQLite数据库
  12. 【BZOJ】【2730】【HNOI2012】矿场搭建
  13. 这 10 个 Python 可视化工具,你用过哪些?
  14. 结构体别名typedef struct LNode{}LNode,*Linklist疑惑解答
  15. 用python输出世界你好_Hello World! (你好,世界!)
  16. 最全ListView扩展的实例和补充
  17. 全新小说安装教程小程序源码
  18. 谷歌金融 Onebox 实现实时信息更新
  19. Java处理MP3资料
  20. POJ 1001-Exponentiation(NYOJ 155 求高精度幂):大数问题

热门文章

  1. 虚拟机、云主机、VPS 三者之间的区别
  2. WEB网站设计用户登录的安全机制
  3. 5.19 对学生按姓名进行随机排序 [原创Excel教程]
  4. 农业统计分析系列2-试验设计
  5. 青鸟s1java云题库答案_北大青鸟S1java内部测试试卷(试题)
  6. 库卡机器人坐标手势_库卡机器人为何要几种坐标系?
  7. 【微信公众平台开发之一】微信公众平台开发环境搭建
  8. 轨道交通通信施工学习总结(四)漏泄同轴电缆安装
  9. mysql 5.6 插入表情符
  10. 扬州大学c语言作业,扬州大学c语言0600706期末试题