OLAP -- ODS 项目总结 -- BI 中的关键

这个项目在年前已经完成，回顾起来小问题挺多。有点乱。还是从需求说起。

一.单纯讲需求每个行业的都不同。很难划一而论。总体来说也就是这几个方面

1.时间窗

常见的分类也就1类ODS ,II类ODS ，III类ODS

I类ODS：与应用系统的数据延迟为1~2秒，实时或近似实时

II 类ODS：与应用系统的数据延迟为2~4小时

III类ODS：与应用系统的数据延迟为12~24小时

IV类ODS：数据仓库中部分决策分析数据回流至ODS中

数据实时性越高，越好CPU ，软件成本越高。在选型时也不同，

如果确定数据的实时性需要实时同步的话，就是I类ODS，通常需要EAI ，消息队列，消息通信的机制。稍微差点可以用某些数据库的高级功能比如ORACLE 从REDO LOG中抽取，目前支持厂商也不少，下下策就是使用数据库触发器，工作量挺大的，都是些无聊的重复性代码，重用性也不高。

II类ODS 这种好像不多了，以前银行转账有几个小时后到账的业务。现在已经很少了，如果硬是建设此类估计也采用性能更高的III类ODS 的建设。

III类ODS 这种很常见，常说说的ETL ，也就是批量的数据处理是此类必配的项目。厂商也很多，但是要从易用性，性能，同本地数据库的结合等方面来衡量。

我们采用这种构架。使用基本上也是大厂商的软件ORACLE,IBM等。

IV类ODS 一般是在ODS数据上，再汇总的数据。做数据分析的朋友，会同此类系统打交道，如SAS，SPSS，R等。

2.数据量级

任何数据只要量级上来了，都挺困难。我们做过测试数据量吞吐量在G 级别的，使用传统的数据库还勉强可以搞定。要是超过这个量级，不管是在ETL，DATAANYLSE 都你不从心。

需要使用大数据的构架，也不是完全的使用大数据，而是大数据+传统数据库结合的方案。目前我们正在测试这一方案。其中很多构架都要变，更要命的是ETL变得更复杂了，传统的ETL工具很多都没有跟上。

如果数据量再大要到PB级别，之前的所有的构架都要推倒重来，使用纯粹的大数据构架，这不是一般的公司可以做到的。暂且不谈这个。

3.数据属性确认

这个占用了我们在ODS建模（同BI建模类似）的大量工作，

维数据和事实表数据（日志数据），是我们在业务上没有偏离的重要保证。

数据来源（JMS，DATABASE，File,EAI ）其中涉及到处理的不同的技术。

数据处理（统计，非统计）：是影响ETL性能的关键。

转载于:https://www.cnblogs.com/jerryxing/archive/2013/02/20/2918130.html

OLAP -- ODS 项目总结 -- BI 中的关键相关推荐

power bi指标呈现_在Power BI中使用关键绩效指标
power bi指标呈现 In this article, we will learn Key Performance Indicators usage in Power BI and solve a ...
Power BI 中关键影响因素(Key Influencers Visualization)功能详细分析（内附福利）——Power BI迈向AI的一大步？
目录写在前面功能介绍功能详解写在最后写在前面继解释此增长/下降和分析此分布的不同之处过后,Power BI在2月份又抛出了一枚重磅炸弹--Key Influencers Visualiza ...
为什么说OLAP产品毁了BI?
企业为了确定经营战略和市场战略所进行的经营活动,在BI项目的分析决策过程中,需要基于多种报告和报表进行分析.理想的市场活动展开,大多需要各个营业点的销售报表,每种商品按季节销售的业绩图表等,这就需要大 ...
power bi自定义地图_如何使用自定义形状图在Power BI中创建地理图
power bi自定义地图介绍 (Introduction) This is the third article of a series dedicated to discovering geogr ...
power bi形状地图_如何使用内置形状图在Power BI中创建地理图
power bi形状地图 Introduction 介绍 This is the second article of a series dedicated to discovering geograp ...
软件项目管理大作业_案例|P6软件在水电项目施工管理中的应用
P6 广泛应用于国际大型工程项目中,利用先进的项目管理软件来进行项目管理显得尤为重要.今天这篇文章以美纳斯水电项目为例,从项目施工角度,介绍P6 项目管理软件进行项目施工技术管理,包括进度控制.技术文 ...
rust墙壁升级点什么_分享：如何在阅读Rust项目源码中学习
今天做了一个Substrate相关的小分享,公开出来. 因为我平时也比较忙,昨天才选定了本次分享的主题,准备比较仓促,细节可能不是很充足,但分享的目的也是给大家提供一个学习的思路,更多的细节大家可以在 ...
综述|寻找自动驾驶中的关键场景
作者丨黄浴@知乎来源丨https://zhuanlan.zhihu.com/p/426572273 编辑丨3D视觉工坊 arXiv在2021年10月16日上传论文"Finding Crit ...
[项目过程中所遇到的各种问题记录]部署篇——项目部署过程中那些纠结的问题-SQLServer...
前一篇文章说了些有关IIS的,这篇则是说SQLServer的,相比IIS来说,SQLServer的配置过程中问题就少了许多,而且都比较有针对性,下面开始记录: 注:由于实际项目的开发都是基于SQL20 ...
为敏捷 BI 补上关键两环
所谓"敏捷 BI",很多人都清楚,并不是指某个前端工具软件,而是贯穿在数据分析平台构建和运行过程中的快速实现能力,所以它不是"传统 BI"的简单替代品.通过敏捷 ...

OLAP -- ODS 项目总结 -- BI 中的关键

OLAP -- ODS 项目总结 -- BI 中的关键相关推荐

最新文章

热门文章