随着科技飞速发展的时代,企业信息化建设会越来越完善,越来越体系化,所用到的应用系统也会越来越多,业务发展中沉淀了大量数据,但是这些数据没有为企业带来直观价值,没有形成企业的数据资产,所以越来越多的企业进入到了数据治理阶段,对于主数据治理的需求也越来越明确

MDM基础数据管理平台是进行清洗和治理企业的主数据,使企业的主数据具有唯一性、准确性、一致性、及时性,通过主数据数据清洗功能将错误数据和重复数据进行清洗,从而保证企业数据能够做到以上特点,然后再分发至下游系统,使企业信息化更加完善。

1总体介绍

主数据治理方案可以将企业的组织、人员、客户、供应商等高度共享的数据进行统一管理,对需要的业务系统进行同步分发,使数据易采集、易理解、易分析,提高部门与部门之间的沟通效率。

1.1产品介绍

MDM主数据管理平台可以把企业的多个业务系统中最核心的、最需要共享的数据(主数据)进行整合,集中进行数据的清洗和标准化的数据治理平台。并且以集成服务的方式把统一的、完整的、准确的、具有权威性的主数据分发给需要使用这些数据的应用系统。

1.2功能架构

MDM主数据管理系统整体功能架构如下图所示:

MDM的功能架构如上图,分为了主数据管理平台与MDC管理控制台,具体模块的功能如下。

MDM:包含了首页看板、数据管理、质量管理和统计分析。

1.首页看板:用于展示主数据的类型数量、参考数据的类型数量、已经注册了的应用数量、目前正在代办的任务、已经办理的任务、MDM的个性化配置等等;

2.数据管理:对组织、人员、岗位、客户等基础信息的管理,包括基础数据的关联,发起流程,再次分发等功能。每类主数据都有各自的参考数据,对比如民族、地区、学位等常用而又比较复杂的元数据进行管理;

3.质量管理:对相似数据进行筛选、巡检,分析数据的血缘,进行大批量数据的清洗;

4.统计分析:从主数据的数据量、同步情况、分发情况,进行数据角度,以及从各个应用所下发的数据,从源头业务系统同步进来的数据,对其他业务系统进行数据下发,进行应用角度两个方面进行统计分析。

MDC:包含了数据建模、功能建模、流程建模、应用管理、数据接口的展现

1.数据建模:对主数据、参考数据、分类数据进行建模操作;

2.功能建模:创建数据表结构,为主数据进行功能建模,为主数据配置功能组件,以及附件内容的管理;

3.流程建模:为主数据和参考数据定义审批流程,如:流程定义、模拟仿真等操作;

4.应用管理:包括元数据的关联、分组和外部管理系统的关联、分组。

5.数据接口:当主数据部署之后会生成对应的api接口,用于数据的查询、新增、修改删除等等。

1.3集成架构

主数据就是在计算机系统之间分享的数据。分享是关键词,经典主数据的例子就是客户,我们都了解客户数据,我们都是别人的客户,但是我们必须要理解,客户是我们MDM的项目中心,同时我们要理解还有其他各种各样的主数据,比如说产品数据、地点、资产、员工等等,这些是相互联系的。

客户买商品,可能有零售商,是从一个具体的零售店卖出商品,然而如果顾客来买产品,我们管理的不仅仅是顾客的数据、产品的数据,还有地点的数据,以及其它相关的数据。

通过单一平台上成熟的多领域MDM集中主数据的管理,从而消    除点对点集成,简化结构,降低维护成本,改进数据治理。

2应用场景

MDM产品的使用十分灵活可以和其他产品组合使用,彼此之间组成不同的解决方案,可以满足绝大多数的应用场景,下面由应用集成、数据治理、数据分析等三个方面来进行介绍。

2.1应用集成

集成底座是基于IDM、MDM、ESB三个核心产品组合打造的一套解决方案,主要解决企业信息化建设过程中业务系统打通以及基础业务集成整合的问题,通过构建企业集成底座,实现各业务系统间的统一认证,保证业务系统访问的一致性;实现各系统基础数据的同源,保证数据一致性的同时为后续复杂的业务集成、财务集成等提供基础数据支撑。

以IDM、MDM为主要的数据管理端,以ESB作为集成通道,通过ESB将源头系统的组织、岗位、人员等基础数据同步至MDM平台,从而实现基础数据同源一致以及全生命的管理,再通过ESB将治理后的基础数据分发至下游系统,包括IDM平台以及IDM实现账号的统一管理以及统一认证,从而构建一体化的集成底座平台,基于集成底座实现和上下游系统的联动。

2.2数据治理

MDM主数据管理平台可以和另一款产品企业服务总线ESB组成基础数据治理解决方案,解决各个系统之间的数据分散、重复,未完全形成业务闭环,数据孤立不能互通,数据统计不一致,企业主数据(组织、人员、岗位客户、供应商、产品、项目等)不能共享,数据不完整,缺少关键基础数据,历史数据丢失现象严重,且数据质量低,无统一管理,集成数据可用性差的问题。

在该方案中企业服务总线主要作为数据交换平台,支持应用间批量数据交换和数据库间的数据交互,包括数据的抽取、转换和导入操作。不需要向不同的业务系统请求主数据的获取、同步,只需要通过ESB进行数据分发、下发等操作即可获取这些数据,帮助企业数据整合或数据中心建设。

2.3数据分析

数据中台方案主要的产品组合是DAP数据分析平台通过与ESB应用集成平台,使用场景主要是通过配置调度任务,通过执行调度任务调用ESB数据同步流程,实现数据的采集、抽取、转换、传输、调度等操作,基础数据为DAP提供同源并标准的、一致的数据保障数据分析来分析数据的准确性,然后通过Portal门户集成平台展现给客户。

1.主数据主要对企业中的主数据进行集中管理,统一进行清洗、校验和丰富,建立统一、标准、完整的主数据体系,并为其他系统提供标准的主数据,同时为DAP提供基础数据支持。

2.ESB企业服务总线从各个系统抽取主数据并同步至MDM平台,支持主数据校验、清洗和汇聚,并配合MDM平台进行主数据分发; 配合DAP平台建立业务数据同步流程,支持数据仓库的建设。

3.DAP数据分析平台结合ESB从各系统进行数据抽取、加工、转换,并汇聚存储到数仓中,构建企业的大数据中心,基于数仓通过图形化、拖拽式配置构建分析主题,实现快速、精准分析,支持领导层的决策。

3主要功能

整体功能架构如下图所示:

MDM的功能架构如上图,大致分为10个功能:

1.主数据:对组织、人员、岗位、客户等基础信息的管理,包括基础数据的关联,发起流程,再次分发等功能。

2.参考数据:对比如民族、地区、学位等常用而又比较复杂的元数据进行管理。

3.数据建模:对主数据、参考数据、分类数据进行建模操作。

4.功能建模:创建数据表结构,为主数据进行功能建模,为主数据配置功能组件,以及附件内容的管理。

5.流程建模:为主数据和参考数据定义审批流程,如:流程定义、模拟仿真等操作。

6.应用管理:包括元数据的关联、分组和外部管理系统的关联、分组。

7.流程监控:对数据审批流程进行统计与监控,包括:流程实例统计、流程实例列表、流程历史查询。

8.数据分析:对主数据、参考数据、日志等的内容数据进行统一分析/查看。

9.规则定义:对编码规则和校验方式的管理。

10.系统管理:对功能、角色等授权操作,对编码、附件的管理。

下面由数据管理、数据建模、功能建模、流程建模等四个方面来进行介绍。

3.1数据管理

1. 新增主数据

主数据由数据建模生成,在数据管理页面点击“新增”添加主数据内容。

点击“保存”后此条数据将出现在列表中。

2.删除主数据

选中需要删除的主数据,点击“删除”按钮即可,只有初始化状态的数据能够被删除,树形管理类的主数据,节点下有数据或有其他主数据有关联时不可以删除。

3.编辑主数据

选中需要编辑的主数据,点击“编辑”按钮,进入编辑页面,编辑之后保存即可。

4.刷新主数据

在主数据新增完毕或者修改完毕后,页面不会立刻刷新,这时候可以点击刷新按钮查看主数据的数据信息。

5.分发主数据

MDM中所管理的数据可以进行数据的下发,包含新增数据下发和数据回收操作。

首先勾选数据后点击生成任务。

根据选择的操作,选择是需要进行数据的新增或者回收。

点击添加应用选择需要分发的业务系统。

选中后点击选择按钮。

选择完毕后点击保存会到任务页面。

右上角可以看到本次分发的任务ID,点击复制可以直接复制该任务ID。

点击操作详情,可以看到本条任务所包含的操作信息。

点击删除可以删除掉不想下发的操作。

点击选择流程按钮,可以选择想要进行下发的工作流程。

不同主数据只会看到自己的工作审批流程。

选择对应的审批流程保存然后就可以进行数据的提交了。

提交后的任务可以在分发任务中进行查看(状态等需要在流程中调用对应的接口进行调整)。

3.2数据建模

在MDC控制台进行基础数据建模如下:

首先,点击基础数据建模,将模型编码名称等信息填入。

然后,按照业务需求将主数据字段填入(注意:主数据字段无前缀,后台自动会生成到数据库)。

点击新增属性可以对主数据的属性进行增加(注意:主数据属性变动之后需要对主数据进行反提交,初始化表单,检查变更后再提交)。

编码规则:

点击“新增”,按要求填写内容,点击保存,即可生效。

可以根据数据类型、类型值、属性条件进行维护。

点击校验规则->双击规则数据可以对其进行修改(如正则的修改)。

规则校验:

与编码规则操作相似,点击“新增”跳转到新增页面,按照要求填写内容。

另一种方法为通过复制规则校验,更改信息,点击保存即可。

对于新增的校验规则需要选中后进行发布才能够使用。

在参考数据页面,点击“新增”填写编码内容。

导入参考数据,先选择下载模板。

下载的模板内容如下。

填写好对应的编码和名称。

导入参考数据。

3.3功能建模

主数据模型配置完成则需要配置功能模型,配置如下:

在主数据控制台点击功能配置,点击新增。

填入编码等信息(注意:勾选数据模型)。

选择数据模型。

然后,对功能模型sql进行解析,保存,部署(注意:有变更需要先执行边变更后解析)。

解析之后对模型进行保存。

保存成功后进行部署。

3.4流程建模

点击流程定义主页面:

点击“新增”按要求填写后保存。

双击需要编辑的流程,根据业务需求绘制流程图(流程组件的绘制使用拖拽的方式进行)。

双击调用组件可以对组件的前置条件进行设置。

前置条件安照业务需求进行添加。

4集成说明

对于MDM的集成有很多种应用可以结合其他产品组合成不同的方案用于服务于不同的业务场景,下面由应用集成、数据集成、业务集成等三个方面进行介绍。

4.1应用集成

应用集成主要是基于IDM和MDM作为数据的集中维护平台,通过ESB进行服务API的管理,构建集成通道,从而实现IDM、MDM以及上下游系统的打通。由业务系统作为基础数据的源头,这些基础数据通过ESB同步至MDM平台进行统一管理,保证基础数据的准确性、唯一性;MDM再将组织、人员等基础数据分发至IDM生成对应认证账号信息,用于支持统一认证等业务;整个集成过程中,ESB作为服务总线负责对各个系统的接口和服务进行注册和管理,同时构建系统数据对接的集成流程。

4.2数据集成

1.主数据治理

基础数据治理解决方案涉及两款产品:AEAI ESB应用集成平台、AEAI MDM基础数据平台,通过AEAI MDM基础数据平台,在整个企业内部制定并执行统一的、符合业务要求的、科学合理的数据标准,通过数据标准的执行使得企业内部的各个业务环境使用的主数据完整统一,有效简化数据清洗工作,提高数据治理,加快业务系统集成、数据治理分析、业务流程再造速度。AEAI ESB应用集成平台主要用来完成业务数据同步分发部分的功能,内置组件可以实现批量数据传输、同步、分发及控制、多协议调用、多方式触发等,辅助基础数据治理。

2.数据中台

主数据管理平台对企业内部主数据进行治理,同时在数据分析过程中保障数据维度的统一,由DAP数据分析平台抽取各业务系统的数据将数据同步至ODS当中,ESB企业服务总线负责主数据的应用集成以及数据分析平台的应用集成。

4.3业务集成

辅助ESB完成凭证的对接。

1.凭证集成也是单向流向,数据从二级子集团流向集团财务;

2.凭证的操作包含新增、删除,由于集成对接的都是正式凭证,财务系统不允许修改,所以凭证没有修改;

3.由于凭证数据和处理过程相对复杂,为了提升集成响应效果,凭证新增采用异步的方式,即财务接到数据后先返回正在处理标识,处理完成后再通过ESB给二级子集团返回处理成功的日志。

5注意事项

在实际开发中使用MDM产品或者与其他产品相结合进行使用配置时,有时因为操作不当或者配置错误会导致产品功能无法实现,下面对于开发过程中需要注意的关键点和注意事项通过产品功能,接口使用,集成应用等三个方案来进行介绍。

5.1产品功能

1.基础数据建模

(1)已启用的数据不能删除,只有初始化和已删除的数据才能够删除;

(2)数据想要变成已删除需要调用接口修改状态。

2.功能建模

对功能模型sql进行解析时,有变更需要先执行边变更后解析。

3.参考数据

参考数据分为独享和公共,修改公共参考数据时,其他主数据中也会同步更新。

4.流程建模

(1)在创建流程进行连线的过程中需要仔细检查,避免两条连线重叠一起,导致流程运行失败;

(2)在修改已发布的流程时需要重新加载才会生效。

5.2接口使用

1.获取tokenId接口

调用URL:

http://localhost:4040/mdm/services/OpenApiAuthticater/login/authticate

调用方式:POST

样例:

注意事项:

需要将appCode和appPwd添加完毕,另外创建全局变量tokenId并进行输出响应,否则后面的流程无法调用

2.数据存入临时表接口

调用URL:

调用方式:PUT

需要请求头中添加全局变量的tokenId(注意tokenId是否过期),同时注意入参格式。

3.数据存入真实表接口

调用URL:

样例:

需要请求头中添加全局变量的tokenId(注意tokenId是否过期),同时注意入参格式,还需要添加批次和isCreateTask否则调用不通。

5.3集成应用

1.在MDM创建数据然后通过ESB分发到各系统时要注意映射关系的配置,和数据格式的转换。

2.在与其他产品相结合使用的过程中要注意基础建模,功能建模等是否配置正确和是否部署成功。

6心得体会

经过这段时间的工作,在工作总遇到了很多的困难,在解决问题的过程中使我的能力得到了很大的提升,也让我对公司的产品有了更深层次的了解,使我受益匪浅,下面对此次工作中的所得进行一个总结和整理。

6.1知识收获

1.了解了MDM的技术架构,明白了MDM在公司产品中的位置。

2.了解了MDM产品与产品相结合的方案,如:应用集成方案:ESB+MDM、基础数据方案:MDM+ESB、集成底座方案:IDM+MDM+ESB、数据中台方案:MDM+ESB+DAP、集成底座方案:IDM+MDM+ESB等。

3.熟悉了MDM一些预制接口的使用和配置,如:获取tokenId接口、BPM自动提交接口、存入临时表接口、存入真实表接口等。

4.熟悉了MDM管理页面的一些配置,如数据管理、数据建模、功能建模、流程建模等。

6.2审视归纳

目前自己对于产品使用基本可以熟悉掌握,对于一些基本使用也比较了解,但还是不够的,还需要提高自己对于产品组件的深入了解,未来在进行数据格式转换,只需要通过组件进行操作。其次,目前自己已经可以定位处理问题,但是还需要继续提高个人的定位能力,勤加练习多了解底层原理

6.3心得总结

经过最近一段时间对于MDM与ESB预置样例的制作,学习到了很多新知识,了解了同步分发流程的原理和数据转换方法,同时也发现了自身还需要提升的地方,比如对于增强对产品的使用熟悉度,以及对公司产品方案的了解。

这段时间通过部门成员的帮助,使自己在学习过程中少走了很多弯路。在后续工作中会不断提升自己,强化技术能力和逻辑能力,日常工作多与领导同事进行沟通,加强对公司产品的使用与理解,争取早日独当一面。

MDM主数据平台使用总结相关推荐

  1. 医疗实施-MDM主数据管理基本介绍

    MDM主数据管理 MDM基本介绍 什么是MDM MDM解决了什么问题 全国医院数据上报-医疗数据字典下载地址 MDM基本介绍 什么是MDM MDM全名为主数据管理,MDM是管理医院内部各个业务系统的基 ...

  2. SAP MDM主数据管理

    Sap MDM(Master Data Manager主数据管理)主要用于主数据的清洗比对,整合不同系统间的主数据间的不一致,以保证基于主数据的交易(数据交换)顺利进行. 主数据的概念 首先介绍一下什 ...

  3. MDM 主数据管理的必要性

    主数据管理系统建设的必要性 1 数据管理与应用现状 所内信息化建设工作的不断推进,信息化系统不断增加,应用与 推广程度不断加深,大量重要数据以多种形式分布于不同的信息系统 之中,主要现象如下:  数 ...

  4. mfc 制作不同的文档模板mdi不同的子窗体_对IT项目售前解决方案制作的一些思考...

    作者:人月神话,新浪博客同名 简介:多年SOA规划建设,私有云PaaS平台架构设计经验,长期从事一线项目实践 今天准备对于IT项目售前解决方案的制作,对于一个软件企业来说,往往会针对自己的产品线和产品 ...

  5. DAP可视化组件升级开发说明

    DAP数据分析平台是公司数据治理分析方案的重要部分,通过结合MDM主数据平台和ESB企业服务总线在进行企业数据治理.数仓建设.数据分析方面提供全面的支持,通过ESB流程实现数据传输.构建数仓,实现了业 ...

  6. 业财一体化升级设计说明

    ESB企业服务总线是企业信息化集成过程中一项重要工具,作为集成龙骨满足应用.数据和业务等集成需要,应用集成如统一认证.单点登录等主要实现业务系统间的对接:数据集成如主数据治理和数据分析等,通过ESB实 ...

  7. 数据中台数据分析过程梳理

    在当今社会中,随着企业的快速发展,相关业务系统的建设也会越来越多,新的业务模式.新的IT架构.多云环境的出现等等.而一些问题就逐渐暴露了出来:企业之间的IT无法做到互通.新模式生产数据与旧数据无法互通 ...

  8. 一张图讲清数据中台来龙去脉

    阶段2:传统单体架构阶段的数据应用(DB->DW),引入MDM 传统单体应用有一个问题,就是具有主数据属性的数据分散在各个单体应用中.以物料为例,物料在多个系统(SRM.ERP.CRM)中都会存 ...

  9. 谈DevOps研发运维一体化解决方案PPT制作

    今天准备谈下DevOps产品解决方案PPT材料的制作和修订,在前面实际我分享过云原生和DevOps的相关技术解决方案材料,但是实际在和客户交流后并没有达到很好的效果,简单总结来说就是材料太偏技术化,没 ...

  10. 主数据管理平台功能模型介绍

    科技飞速发展的时代,企业信息化建设会越来越完善,越来越体系化,所上的应用系统也就越来越多,业务发展中沉淀了大量的数据,但是这些数据没有为企业带来直观的价值,没有形成企业的数据资产,所以越来越多的企业进 ...

最新文章

  1. 过滤Java集合的最佳方法是什么?
  2. 设计模式复习-访问者模式
  3. Android 任意区域截屏
  4. linux l文件共享,llinux服务器文件共享的一种简单的方法
  5. C语言宏定义取得两数的最大值和最小值
  6. LeetCode 1655. 分配重复整数(回溯)
  7. DDD分层架构的三种模式
  8. java ajax_Ajax Java示例
  9. 菜鸟教程 Python100例答案
  10. 巴特沃斯数字低通滤波器的设计步骤
  11. 每个人都可以做到:月入30000的秘籍!
  12. 期刊论文发表的重复率要求
  13. C语言实现循环读入txt文件
  14. POI导出Excel(一)
  15. Jabber 技 术 概 况
  16. 用 Electron 打造 Win/Mac 应用,从「代码」到可下载的「安装包」,可能比你想得麻烦一点...
  17. VBA 会被 Python 代替吗?
  18. K-means聚类与EM算法
  19. 分布式事务XA和JTA
  20. CRM 软件都开始投身小程序了:纷享销客推出“客脉”小程序

热门文章

  1. matlab小波去噪wden,MATLAB小波去噪
  2. c语言程序设计商品库存管理系统,《C语言课程设计商品库存管理系统》.doc
  3. Linux安装SSH
  4. 教你设置技嘉主板bios中文图解
  5. Windows安装WSL详解
  6. 酒店预订管理小系统c语言,酒店管理系统有些问题,求c语言大佬帮忙
  7. hyperscan5.0编译方式整理
  8. 网站打开速度慢如何压缩图片_8个免费实用的图片压缩网站、软件(含下载地址)吐血推荐...
  9. ppt convert to html,powerpoint(ppt)
  10. vmware卸载不干净,重装不了问题;装了虚拟机上不了网问题;装了虚拟机发现windows在cmd中ping不了虚拟机,虚拟机能ping的了windows;secureCRT或者filezilla连接