如何实现多源异构系统数据整合？

在信息化建设过程中，由于各业务系统建设和实施数据管理系统的阶段性、技术性以及其它经济和人为因素等因素影响，导致企业在发展过程中积累了大量采用不同存储方式的业务数据，包括采用的数据管理系统也大不相同，从简单的文件数据库到复杂的网络数据库，它们构成了的多源的异构数据，当企业为完成一项工作，可能需要访问分布在网络不同位置上的多个数据管理系统中的数据，从而对企业对未来规划造成困扰。

整合多源异构系统数据的目标

多源异构数据整合的目标就在于实现不同结构的数据之间的数据信息资源、硬件设备资源和人力资源的合并和共享。其中关键的一点就是以分散的局部的数据为基础，通过各种工具和处理逻辑建立全局的统一的数据或视图。

传统技术路线：

对于多源异构系统数据整合的需求是十分多样的，比如：数据的实时无缝对接或批量对接、数据实时或T+1同步、单向数据传输等。利用传统技术路线。

可以有以下几种方式解决：

1.跨平台，SOAP服务对接

SOAP是一种轻量的、简单的、基于XML的数据交换协议，它被设计成交换结构化或相对固化的信息。

SOAP服务具有简单、可扩展的特点，其实现与厂商、编程语言和具体厂商都没有关系。SOAP客户端发送一个请求，调用相应的对象，然后服务器返回结果。这些消息是XML 格式的，封装成HTTP 协议，符合任何路由器、防火墙或代理服务器的要求。SOAP可以使用任何语言来完成，可以在任何操作系统中无需改动正常运行。因此，SOAP具有强大的网络穿透能力，具有广泛的适应性，比较适合当前自然资源部门应用系统繁多、技术体系不一、数据多源异构这一现实性的应用系统和数据集成要求。

2.大文件，FTP文件共享

文件传输协议（FTP）虽然是一种非常传统的数据共享和交换技术，但是，在自然资源领域中，针对遥感图像、三维地图、CAD图纸（Drawing）、激光点云等大数据量文件的交互，采用FTP交互方式是最合适不过的了。

只要在应用系统之间约定文件服务器地址、文件命名规则、文件内容格式等参数，通过文件服务器的文件上传和下载，即可完成数据交互。该方案简单实用，避免了去理解、实现复杂网络传输和网络协议等相关概念和技术。

FTP的主要缺点一是安全性较弱，一般依赖于操作系统层级的文件安全性；二是对于需要随机存取数据文件内任意指定部分的要求，无法响应，不够灵活。

3.关系型，数据库数据共享

自然资源领域涉及到七大关键业务环节，与每个业务环节对应的多个业务应用系统之间存在大量的数据共享交换要求。对于应用系统之间的数据交换来说，可以采用共享数据库作为数据交换介质。

在两个应用系统间完全互信的情况下，可以直接读取对方数据库里的数据。通常情况下，每个应用系统对于数据的保密性、安全性都有一定的要求，不允许随便开放给其他应用系统直接存取。在这种情况下，可以通过建立第三方公共交换库，通过该库实现应用系统间的数据共享交换。

相比文件传输方式（FTP）来说，因为使用的同一个共享数据库，交互更加简单。而且，数据库管理系统可以提供相当多的数据操作，比如复杂的条件查询、更新、回滚等，交互方式比较灵活。通过数据库的事务机制，可以保证数据交换的可靠性。

4.异步，消息队列通讯以及数据抽取-转换-加载（ETL）

多源异构数据

消息队列是更加松耦合、灵活、可靠的应用系统集成和数据交换共享技术。通过引入消息中间件，在所有应用系统之间建立起可实现消息传输、路由、过滤、增强、错误捕获和处理的消息传输机制，由消息队列来保证数据传输的异步性和稳定性。消息队列跟互联网的连接结构类似，所有数据都可以通过消息中间件，建立起一条可靠的消息传输链路，进行应用系统间的通信。

创新技术路线：

相较于消息队列信息通讯以及数据抽取-转换-加载（ETL），下秒数据Nexadata自成立开始就一直坚持研发创新道路，是国内首家打造“ELT+A”智能数据管道的软件厂商。

1.创新性的打造“ELT+A”更加拥有发展前景，以及更大程度上满足企业的需求，帮助企业低成本快速整合异构系统数据，实现业务数据自动化流转、互通共享。

2.通过无代码的数据集成与数据建模技术，帮助企业将所有应用程序、数据库、事件和文件等数据信息提取到数据仓库中，并快速将分散的数据转化为数据集、API、自动化流程等开箱即用的数据服务。