合并与拆分数据模型（MSDM：Merging Spliting Data Modeling）

[@more@]

MSDM只要针对的是多地区，多维度，跨时区的操作，特别是零售和制造行业，不同地区存在不同的ERP系统和其他同类型不同操作的系统。很多大型的业务系统，有很多的定时进程是在晚上运行，比如汇率转换计算，数据备份等，而不同国家地区的操作策略也不一样。数据仓库的有些机制是需要业务原系统的参与，比如数据的导入，有些则不需要原系统的参与，比如数据仓库的数据删除，索引建立，为了不影响数据仓库系统的及时性和准确性，有必要对数据仓库各层进行分解和合并。
原有的多维模型和关系模型过多的讲究统一性和一致性，倒是在推广BI的过程中，很难用系统去驱动业务，而不是常见的业务驱动，求同存异也是BI系统的一个特点。
所以而且多层多步骤实施也是现在企业实施BI的一个趋势。MSDM其实都是为了保证系统求同存异而设计的。
MSDM是指在企业存在多业务系统情况下，为了适应后续系统的建立与性能调优，而建立的模型，此模型的建立将操作型数据存储层分立，在展现层合并的数据模型。
合并的数据模型的特点如下：
1：ODS层的数据按照不同的业务数据源分开存储，并将业务系统的维度数据统一整合，并用数据源名称和数据归属区域加以标示。
2：为了保证数据质量，加一层名为数据检查层（Validation Agent），将各业务系统的数据检查结果按照预先定义的或者后续检查定义的加以标识，这里可以按照数据的自增序号进行关联。
3：数据检查层可以设置一个数据验证引擎（Validation Agent）和相应的数据检查规则。这里只标示数据检查的结果，不更新和删除数据。数据检查层位于ODS层后，数据整合层前；
4：数据更新层可以设置一个数据清洗引擎（Cleaning Agent）和相应的更新机制，主要正对数据检查层的检查结果，设置相应的更新策略。数据更新层位于数据检查层后，数据整合层前。
5：数据整合层有三种设计策略
一：易合并数据，可以将事实数据和维度数据合并，并在SOR记录上标示数据来源系统和操作时间；
二：不易合并数据，可以将事实数据分开，维度数据合并，并标示数据来源系统统和操作时间；
三：大表操作策略，将维度数据和实施数据按照相关性和粒度，将数据合并在一起，并分开存放维度数据，标示数据来源系统和操作时间；
6：在展现数据层或者导入cube的时候，针对分立的数据源用视图和维度统一性用视图操作，将相应的数据用视图进行操作。

检查层和更新层是独立各层之外的，为各层服务的。它只需要为各业务数据单独设立其相应的策略和机制即可。可以针对不同类型的业务数据进行验证和清洗。同时可以加入相应的日志和报警设置，方便ETL，数据展现和数据质量检查。

来自 “ ITPUB博客 ” ，链接：http://blog.itpub.net/7600305/viewspace-1016387/，如需转载，请注明出处，否则将追究法律责任。

转载于:http://blog.itpub.net/7600305/viewspace-1016387/

合并与拆分数据模型（MSDM：Merging Spliting Data Modeling）相关推荐

java 合并和拆分单元格_如何在Microsoft Word中合并和拆分表和单元格
java 合并和拆分单元格 You can easily merge and split cells in Microsoft Word to make your tables more intere ...
java 合并和拆分单元格_如何轻松合并和拆分电子书
java 合并和拆分单元格 Whether you want to merge collections of short stories into a DIY anthology, or you wa ...
Linux中如何优雅的批量合并、拆分、加密pdf文件
痛点在windows中合并个pdf还要让你冲会员,真的是狗.linux下有没有一款工具能完成对pdf的合并.切分的工具呢? 有: PDFtk 功能 * Merge PDF Documents or ...
Python对比VBA实现excel表格合并与拆分
1.Excel表格合并我们在日常工作中经常会导出一些数据,但是这些数据较大可能是按照某个分类形成的单独表格,比如每一天的数据,每个品牌的数据等. 但是,我们在进行数据分析的时候可能往往需要对这些数据 ...
MySQL字符串的合并及拆分
按照指定字符进行合并或拆分是经常碰到的场景,MySQL在合并的写法上比较简单,但是按指定字符拆分相对比较麻烦一点(也就是要多写一些字符).本文将举例演示如何进行按照指定字符合并及拆分. 01 合并 M ...
mysql按指定长度拆分_MySQL按指定字符合并及拆分
按照指定字符进行合并或拆分是经常碰到的场景,MySQL在合并的写法上比较简单,但是按指定字符拆分相对比较麻烦一点(也就是要多写一些字符).本文将举例演示如何进行按照指定字符合并及拆分. 1. 合并 M ...
python字典合并输入用字符_左右用R右手Python9——字符串合并与拆分
原标题:左右用R右手Python9--字符串合并与拆分杜雨,EasyCharts团队成员,R语言中文社区专栏作者,兴趣方向为:Excel商务图表,R语言数据可视化,地理信息数据可视化.个人公众号:数 ...
php数组分开_PHP学习之五：数组（三）合并、拆分、接合和分解数组
一.合并.拆分.接合和分解数组 1.合并数组 array_merge() 函数将数组合并在一起,返回一个新数组. $a = array("a","b",&quo ...
04. 字符串合并与拆分写法小结
04. 字符串合并与拆分写法小结原文:04. 字符串合并与拆分写法小结一. 字符合并 if OBJECT_ID('ConcatStr') is not null drop table Concat ...

合并与拆分数据模型（MSDM：Merging Spliting Data Modeling）

合并与拆分数据模型（MSDM：Merging Spliting Data Modeling）相关推荐

最新文章

热门文章