数据交换平台顾名思义是一个为不系统间提供数据交流、转换功能从而达到数据资料共享的软件产品。其处理 的主要对象就是各类业务数据,其使用者为各类参与交换的系统或数据源。

市面上的数据交换产品其功能很丰富,也很全,但就其核心功能而言不外乎是针对数据的四个加工过程:获取、 转换、传输及最后加载数据。

  • o数据获取。数据交换的第一步,要进行数据的交换,首先要获取被交换的数据,否则交换就无从谈起。

    • 应用场景

      • 业务系统向数据交换平台提供数据,这个是建立在业务系统可以为交换平台提供集成服务的前提下。
      • 由交换平台直接从业务系统的数据源中获取数据,在业务系统无法为交换平台提供数据服务的情况下只能采取这种办法。
      • 业务系统可以按交换平台的标准提供数据。
      • 业务系统只按自身标准提供数据。
    • 解决方案
      • 在数据获取方面,完全放开,由用户自定义数据应用适器实现。项目也提供了一些现成的数据获取方式:如SQL适配器、任务调度器等。
      • 其原则是只要数据可以解析成XML就可以被支持。项目提供一个可扩展的数据解析框架,以支持将各类数据解析成XML,现支持的数据类型有:SQL(关系数据库)、EXCEL、CSV、LDAP及XML等。
  • o数据转换。参与数据交换双方在数据结构的定义及其所代表的业务意义是会有差异的,必要时须进行数据转换,也即是将一方所提供的数据转换成另一方所能识别的数据。

    • 应用场景

      • 数据结构差异转换。例如有两个单位的OA系统A和B,各自都对公文进行了数据结构的定义,对于公文中文件标题这个属性在A中表示为title,在B中表示为biaoti,这们两者间就在公文的数据结构定义中存在差异了,交换平台必须提供这种数据结构的转换。
      • 业务意义上的转换 。如A公文中对密级的业务值以“0”表示机密,“1”代表秘密,而在B公文中密级中的机密是以“JM”来表示,秘密是以“MM”来表示,这样交换平台必须提供这种业务级换算转换,例如前面提到的将“0”转换成“JM”,将“1”转换成“MM”。
      • 数据类型转换。支持异数据类型转换,如将XML转换成EXCEL或反之。
    • 解决方案
      • 支持数据结构差异转换。项目统一将各类数据转换成XML,通过XSLT引擎进行转换,支持任意数据结构。
      • 通过业务转换插件框架支持业务义意转换。
      • 数据类型支持上,只要能解析成XML的数据都可以被支持。
  • o数据加载。这是数据交换工作过程的最后一个环节,对于数据的需求方是需要加载利用这些被交换的数据的,可能会将其保存在自己的数据源中,也有可能只是在自己的业务运算中使用。

    • 应用场景

      • 业务统提供服务或协议加载数据。
      • 交换平台直接操作业务系统数据源加载数据。
      • 业务系统可以加载交换平台标准的数据。
      • 业务系统只能加载自己标准的数据。
    • 解决方案
      • 加载数据上与数据的获取一样完全放开,通过实际应用中开发业务适配器加载。
      • 在数据标准的支持上,只要数据能解析成XML就可以被支持。
  • o数据传输。由于数据交换平台的布署运行有可能是分布式,也即是数据获取、转换、加载可能分别在不同的机器上,数据需要在这些机器间进行传输,另外平台为外部系统也要为外部系统提供数据传输的服务,如接收被交换数据及发送被加载的数据等。这就要求平台必具备支持常用网络协议(TCP/IP、HTTP、HTTPS、FTP、EMAIL等)的数据传输功能,这不仅是平台内部的需要(分布式布署)也是外部系统集成的需要(接收或发送外部数据)。
  • o数据安全。数据交换的实现在底层网络实现上需要利用现有的Internet网络设施,数据将会在公开的网络上传输,这就涉及到一个数据的安全性的问题了。平台必须确保数据的保密性,真实性、来源合法性。

数据交换平台开发之二功能需求相关推荐

  1. (神州优车)数据交换平台架构分享

    一.数据交换平台定义(百度百科) 数据交换平台是指将分散建设的若干应用信息系统进行整合,通过计算机网络构建的信息交换平台,它使若干个应用子系统进行信息/数据的传输及共享,提高信息资源的利用率,成为进行 ...

  2. 协同数据交换平台详细设计方案(word)

    本资料来源公开网络,仅供个人学习,请勿商用,如有侵权请联系删除 1 架构设计 1.1 总体架构 协同数据交换平台利用企业服务总线.数据抽取ETL.消息中间件.大文件传输等相关技术,包括文件适配器.数据 ...

  3. 对于国内数据交换平台的分析

    数据交换平台应当立足于平台自身所提供的基础设施,在国内大部分的交换平台系统错误地把关注的重点放在数据交换平台所支持传输协议之上(如mq,ftp,webservice),系统所支持的传输协议越多,系统抽 ...

  4. (13)达梦DMETL数据交换平台技术原理及应用介绍

    在上一篇博客里,我们对达梦DMHS进行了动手部署实践.本篇文章主要是对达梦DMETL数据交换平台系统框架及核心功能组件等技术方面的学习分享. 一.数据实时同步软件(DMETL)简介 达梦数据交换平台( ...

  5. 利用数据交换平台打通数据治理脉络

    11月1日,Informatica举办了网络会议<Informatica数据交换平台主要特性及案例分享>,本文根据Informatica 资深技术顾问续岩演讲内容整理而来. 续岩 Info ...

  6. 数据交换平台有哪些功能特点

    数据交换平台是数据中心与其它应用系统沟通的桥梁,是进行数据交换的枢纽站.数据交换平台负责从各个业务系统采集数据,对数据进行清洗与整合,按照数据中心建设标准规范化原始数据,最终形成业务核心数据库,并提供 ...

  7. 浅谈Web大数据可视化平台开发流程

    随着大数据时代的到来和数据分析技术的进步,物联网.云计算.手机.电脑以及各种传感器,无一不是数据来源或者承载的方式.微信.qq等社交平台的普及,让人们的情绪和喜好预测变成可能.在众多复杂的数据背后找到 ...

  8. 达梦数据交换平台软件DMETL部署

    一.DMETL介绍 达梦数据交换平台(简称DMETL)是在总结了众多大数据项目经验和需求并结合最新大数据发展趋势和技术的基础上,自主研发的通用的大数据处理与集成平台. DMETL创新地将传统的ETL工 ...

  9. 微信公众平台开发(二) 微信公众平台示例代码分析

    http://www.cnblogs.com/mchina/archive/2013/06/07/3120592.html 微信公众平台开发(二) 微信公众平台示例代码分析 一.摘要 微信公众平台提供 ...

最新文章

  1. C-Substring的实现
  2. iOS 成员变量的作用范围
  3. WINCE6.0+S3C6410的触摸屏驱动
  4. Python基础(10)--数字
  5. 您能看出这个生成缩略图的方法有什么问题吗?
  6. 网骗欺诈?网络裸奔?都是因为 HTTP?
  7. C# Winform 窗体美化(目录)
  8. springmvc文件下载之文件名下划线问题终极解决方案
  9. oracle 10g 配置asm,在Oracle Linux 4.7上安装配置Oracle 10g ASM数据库
  10. PHP FCKeditor2.5 解决上传图片问题
  11. 手工打造迅雷9超精简版
  12. #使用SAS进行变量筛选、模型诊断、多元线性回归分析 #
  13. excel文件损坏修复绝招_优盘显示文件或目录已损坏,无法读取,怎么办?!
  14. GitLab复习资料整理
  15. 白光干涉仪如何获得高度信息丨科普篇
  16. 愤世嫉俗的程序员,在网上当起了“键盘侠”
  17. Python 计算思维训练——输入和错误处理练习(二)
  18. Excel中提取各sheet名
  19. Python+Vue计算机毕业设计龙一公益网站的设计与实现ngash(源码+程序+LW+部署)
  20. Flutter中的Scaffold组件

热门文章

  1. html所属省份选择框_JS省份联级下拉框
  2. 微信小程序——基本语法
  3. Air Passengers(time series)
  4. ROS2承上启下【05】:在单个进程中布置多个节点
  5. python判断正数和负数教案_正数和负数教案(教学设计)
  6. uni-app中接入友盟统计
  7. cdn加速以及前后分离SpringBoot+Vue 配置https及SSL证书
  8. Duplicate Removal
  9. 调用第三方地图app导航(高德、百度、腾讯)
  10. 【雅思口语】安娜口语学习记录 Part3