数据共享交换平台的问题及解决方案

简介：数据共享交换平台应该犹如手机、电子邮件那样全球互联互通，然而当前的数据共享交换平台都未能实现全球互联互通，只能实现局部通。数据共享交换的应用场景和数据的生存环境与当前的软件系统完全不同，需要采用全新的方法和工具才能高效地实现不同软件系统之间的数据共享交换。本文介绍了一种利用电子邮件作为传输工具通过特殊的编码解码而进行数据流通方法、通用的数据共享交换平台，从而可在全球范围内实现各种软件系统、任何人之间、任何结构化数据的共享交换，可实现全球互联互通。

1. 现有的数据共享交换平台存在的问题

全国已有很多个数据共享交换平台，然而这些平台未能真正地实现政务数据的全面的开放共享，应用效果不能令人满意。

数据共享交换平台应是一种通用平台，犹如电子邮件那样，可以实现全球范围内的各种软件系统、全球范围内的各种用户之间的各种数据的共享交换。然而，现有的数据共享交换平台并不是通用平台，而是专用的平台，只能针对特定范围内的有限的软件系统及用户实现数据共享交换，而且不同的数据共享交换平台之间也不能相互共享交换数据。当前的“统一身份认证”只是某个局部范围内的“统一”，而不是全球范围内的“统一”。

要成为全球通用的数据共享交换平台，需要解决两种问题，一是如何实现用户身份的“全球统一身份认证”及“单帐号登录各种软件系统”；二是需要设计一种通用的结构化数据流通工具，可以在全球范围内实现各种结构化数据在各种软件系统之间、各种人之间的流通。

1. 当前的身份认证方法存在的问题

当前的“统一身份认证”和“单点登录”只是实现了特定范围内“统一身份认证”，例如某个单位内部、某个省市内部，而不是全球范围内的“统一身份认证”。

在数据流通中，如何表达及识别甲乙双方的身份也是一个大问题，只有当数据接收方可以方便地识别出数据的发送者是谁，相应的数据流通工具才是合格的；当前的问题是数据流通涉及到全球范围内的数千万个以上的各种信息系统、数十亿以上的用户，现有技术未能实现对全球用户身份进行统一识别，也没有一种简单通用的识别收发数据双方身份的方法。

现有的各个信息系统都有自己专用的的用户管理方法和系统权限管理方法。用户要登录某个系统，就必须在登录系统之前首先注册用户，然后再根据用户名和密码登录系统。由于全球的信息系统太多，谁也不可能全部记住曾经使用过的系统的用户名和密码。注册一个用户约需要十分钟，每个人一年要在多个系统中注册用户；一个人一年，在注册用户、遗忘用户名和密码的找回密码方面需要花几个小时的时间。对于全球数十亿用户而言，如果实现了全球统一的用户身份认证管理及信息系统权限管理，由此全球用户每年减少数百亿小时注册用户、找回遗忘用户名和密码的时间。

由于各个信息系统的用户身份认证管理方法各不相同，当全球范围内的数千万个以上的各种信息系统之间共享交换数据时，也会产生各个系统之间不能识别对方的用户身份的问题，数据的接收方不知道是谁发送的数据也就不可能信任接收到的数据。数据流通犹如收发数据双方签订契约，这就需要在不同的信息系统、不同的人（自然人、法人）之间流通的数据都能成为契约，而成为契约的首要条件就是数据接收者可以准确地了解是谁发送的数据，谁对数据承担责任，也只有知道了是谁发的数据才会成为可信的数据。信息系统中的数据其实是信息系统的拥有者（法人）的数据，由法人承担相应的责任。对于契约数据而言，当系统A把数据发送给系统B时，系统B可以通过某种方法而自动识别出系统A的法人是谁，然而现有技术未做到这一点。现有技术是通过点对点的方式交换数据，双方在事前已知对方是谁，因此，基本上不涉及用户身份识别问题。

当前的单点登录及统一身份认证只是针对指定的某个单位、某个地方的有限的若干个系统，而不是全球的各种信息系统。不同的单点登录及统一身份认证系统也各自拥有各自的特点，不同国家、不同地区的单点登录、统一身份认证系统之间也不能相互认证。例如，A省的与B省的统一身份认证系统之间就不能互联互通。当全球范围内的数千万个信息系统之间共享交换数据时，需要有一种全球统一的、通用的用户身份认证、识别及信息系统权限管理方法。

1. 当前的点对点数据接口的问题

现有技术实现结构化数据流通的主要方法有两种，一是利用点对点数据连接方式，二是利用电子邮件。问题是电子邮件只是通过匿名的方式实现非结构化数据的流通，不适合传递结构化数据。虽说电子邮件也可以通过XML文件传递结构化数据，然而不懂计算机技术的普通用户无法处理、识别XML文件中的结构化数据，因此，只是专业技术人员偶尔使用电子邮件传递结构化数据；点对点数据连接方式虽说可以传输各种数据，但这种连接方式只是专用的数据连接方式，不通用，成本非常高。在现有技术中，人们主要利用API、Web Services技术通过数据交换平台、点对点这种专用的双方直接联通的数据连接方式而实现数据共享交换。

数据交换平台是指将分散建设的若干应用信息系统进行整合，通过计算机网络构建的信息交换平台，它使若干个应用子系统进行数据的传输及共享，保证分布异构系统之间互联互通，建立中心数据库，完成数据的抽取、集中、加载、展现，构造统一的数据处理和交换。

数据交换平台都是专用的，不是通用的，这些平台的应用范围只是一家企业、一个城市的某个局的某个系统与其下属单位之间数据交换；即各个数据交换平台都有其指定的应用范围，只是针对数量非常有限有若干个应用系统，针对不同范围的应用必须开发不同的数据交换平台，而无法利用一种通用的数据交换平台而实现全球数千万个以上的各种信息系统、数十亿以上的用户之间的数据交换。

目前的数据交换平台不能成为通用的数据交换平台的主要原因有三个：1、API、Web Services技术天生的就是两系统之间直接互联的点对点技术，不可能利用API、Web Services技术而编写出通用的数据交换平台。2、当前数据平台所完成功能是“数据的抽取、集中、加载、展现”；由于当前的各种信息系统中的结构化数据属于“多源、异构、非标”的，要完成“数据的抽取(ETL)”，就必须针对不同的信息系统而设计专用的软件，用现有技术不可能设计出通用的“数据的抽取(ETL)”软件。3、目前没有全球统一的用户身份认证、识别技术，也没有全球统一的信息系统权限管理及用户管理技术，不同的信息系统各自采用不同信息系统权限管理及用户管理方法。

API、Web Services技术在诞生之初就只是为了甲乙双方之间（或一方对多方）完成某种功能而未考虑“通用”的问题，“通用”的数据流通系统所实现的不仅仅是甲乙双方之间数据流通，也包括全球范围内的各种信息系统之间、任何人之间的数据流通。

现有技术（例如数据交换平台）的一个非常关键的问题就是把数据流通与数据治理当作一件事来处理。只有把数据流通与数据治理分开当作两件独立的事件，把数据流通当作一项单独的事件来处理才可能编写出通用的数据流通工具。

现有的各种信息系统之所以称作是信息孤岛，一个根本原因在于现有信息系统只是在自己的系统中存贮处理数据，而不能把相关数据发送给用户，使用户也可以存贮、查询数据，例如，电子商务、水费、电费、银行流水、房产交易数据，及用户登录使用各种信息系统而产生的各种数据及这些数据流通的痕迹，这些数据也应该发送给用户，让用户也可以存贮、查询这些数据。

综上所述，利用现有技术，可以用很多方法实现结构化数据的流通，然而，全部都是通过开发专用的点对点这种使通信双方直接互联的数据连接方式实现结构化数据流通，低效昂贵，不能令人满意。

1. 软件系统的两种不同的应用场景及数据的生存环境

数据共享交换之所以是一个难题，是因为当前的软件系统的设计模式是“以我为中心”的软件设计模式，以这种模式设计的软件系统百分之百是孤岛型系统，而数据共享交换是众多软件系统之间的“无中心”的数据处理模式。

现有的软件系统只处理“我的系统”中的数据，不处理你的数据，也不处理他的数据。数据共享交换所处理的是软件系统之间的“数据”，包括“我的数据、你的数据、他的数据、大家的数据”。

1. “以我为中心”的孤岛型系统的特点

“以我为中心”的孤岛型系统的特点：只考虑我的软件系统之内的数据的存储、处理；只考虑我的用户，要成为我的用户，必须先在系统内注册，经我审核后才能成为我的用户；若向外界提供数据，则需要通过我的点对点数据接口才能实现，要用我的数据接口也必须先在我的系统中注册用户。孤岛型系统是“以我为中心”的，即软件系统的所有用户都是以我的软件系统为中心，我只存储处理我的数据，不存储处理你的数据，也不存储处理他的数据。

当前的“以我为中心”的软件系统中的结构化数据的生存环境及特点：

1. 当前的各种软件系统具有比较明确的应用范围，例如ERP、OA、财务管理系统、电子病历系统，其应用范围一般只是某个机构内部的某种业务；

1. 各软件系统各自定义自己的数据；

1. 系统中的表的数量一般只是100张表左中，很少不超过1000张表；

1. 系统中的表的数量及结构很少变动，各表的各字段的数据类型都是已知的、（基本上是）固定不变的。

1. 在设计软件系统之前就事先知道需要处理哪些数据，表的结构及数据的内容也是确定的；

1. 系统的特点：以我为中心的孤岛型系统，我只处理我的数据，不处理你的数据，也不处理他的数据，因为我的系统中未定义你的数据和他的数据；

1. 对数据的查询、统计分析也是可预知的，在设计软件系统时就已知该哪些表的哪些字段进行查询、统计分析；

1. 系统既要处理数据，也实现一些功能（例如画图、播放音乐）。

1. 数据共享交换属于众多软件系统之间的“无中心”的数据互联互通

数据共享交换中的数据生存环境与当前软件系统中的数据的生存环境完全不同，数据共享交换所处理的数据是两个或两个以上的软件系统之间共享交换的数据，甚至是全球范围内的各种软件系统之间共享交换的数据，属于“无中心”的环境，相应的数据及用户的特点：

1. 数据共享交换的数据是全球范围内的数千万个以上软件系统之间的各种各样的结构化数据、无穷无尽；

1. 数据共享交换中的用户不是某个软件系统内部的用户，而是软件系统之间的用户，是无限的，有可能涉及到全球数亿法人用户、数十亿自然人用户；

1. 数据的接收方有可能会接收到数万、数十万种结构各不相同的异构的结构化数据，面对如此众多的多源异构数据，利用关系数据库已很难处理，例如，要从这么多的异构数据中查询某个数据，需要编写很大的应用程序；

1. 数据接收方所接收到的很多数据未在数据接收方的软件系统中定义；

1. 在数据共享交换中，随时都会接收到全新结构的表，谁也无法预测下一张表会是什么样的结构，所接收到的表的数量、表的结构、各表的各字段的数据类型都是未知的，针对这种情况该如何编写查询程序？例如，要对一万张表中的数据进行查询，需要编写多少行的查询软件？成本是多少？

1. 应该对哪些表的哪些字段进行统计分析也是未知的；

1. “无中心”模式只是在系统之间实现数据共享交换，不包括“功能”（或由数据接收方根据接收到的数据而实现各种“功能”）。

1. 总结

当前的“以我为中心”的软件系统只能对“有限的用户”提供“有限的数据”的数据共享交换服务。“有限的用户”是指在我的系统中注册的用户，不对未注册的用户提供服务。“有限的数据”是指在我的系统中已定义的数据；我的系统不处理（也不能处理、也处理不了）未在我的系统中定义的数据。在“以我为中心”的软件系统中，所有用户、所用数据都以我为主，都要受我控制。

当前的数据共享交换平台还是属于“以我为中心”的软件系统。

“无中心”的数据共享交换的特点：用户和数据是软件系统之间的；面临大量的未注册的用户、未定义的数据。

由于数据共享交换中的用户和数据与当前的软件系统中的用户和数据都发生了本质的变化，因此，需要建立新的软件设计理论体系才能高效地实现数据共享交换。数据共享交换属于“无中心”的通信，需要采用犹如电子邮件、手机那样的“无中心”数据流通方法和工具。

1. 如何建立一种犹如电子邮件那样的通用的结构化数据通信工具

1. 要解决信息孤岛问题需要建立新的通信协议

从通信的角度而言，通信需要以通信协议为基础，各方根据通信协议进行通信。目前为什么不能高效共享交换？肯定是通信协议有问题，有不足之处，因此，需要建立新的协议。

通信协议是指双方实体完成通信或服务所必须遵循的规则和约定。协议定义了数据单元使用的格式，信息单元应该包含的信息与含义，连接方式，信息发送和接收的时序，从而确保网络中数据顺利地传送到确定的地方。在计算机通信中，通信协议是用于实现计算机与网络连接之间的标准，网络如果没有统一的通信协议，电脑之间的信息传递就无法识别。通信协议是指通信各方事前约定的通信规则，可以简单地理解为各计算机之间进行相互会话所使用的共同语言。两台计算机在进行通信时，必须使用的通信协议。

之所以在全球范围内存在非常普遍的信息孤岛问题，是因为未能建立“各信息系统之间进行相互会话所使用的共同语言”，即未能建立合适的通信协议。当前的各种信息系统都是自独立地建立系统，没有统一的规则，各系统也未遵守统一的规则（即通信协议）。

TCP/IP协议是针对设备之间进行通信的协议，因此这种通信可称为设备通信。由于各种信息系统之间的通信中含有人的因素，因此这种通信可称作人类通信。本文引入人类通信、设备通信的概念是为了说明通信分为两大类，各有特点，两者之间有本质差异。

信息孤岛问题、数据开放共享问题是人类通信中的问题，问题的根本原因在于当前的以TCP/IP为基础的通信是设备通信，TCP/IP协议中未包括与人相关的内容，不适合人类通信，或者说现有的通信技术不能全面解决人类通信中出现的新问题。人类通信与设备通信之间的本质差异在于设备通信是以匿名的非结构化数据为主，人类通信是以实名的结构化数据为主，人类通信涉及到数权，也涉及到多源异构问题。

在法律上，有物权法，对于数据而言，数据也有责、权、利，简称数权。数权也包括是否有权获得数据、对数据承担的责任和义务。设备通信中未涉及数权问题，设备通信关注的重点是可靠性，即如何使数据在传输中不丢失数据，TCP/IP协议中也没有与数权相关的内容。

对设备通信而言，我发送数据，你接收到了数据，就OK了，你我之间没有责权利问题。人类通信关注的重点不仅是可靠，更关注数据的可信，即如何确保数据是可以信任的。数据的可信包括：谁发送的数据、数据发给谁、谁对数据承担责任，以及数据流通痕迹的可追溯不可篡改。TCP/IP协议中未包含数据可信方面的内容。在数据流通中，数权是收发数据双方对数据的责任和权利。数权是数据流通中必须解决的问题，本文强调收发数据双方以实名为基础就是为了解决数权相关的问题，数据的发送者必须为所发送的数据承担相应的法律责任。

设备通信是以通信协议为基础，以通用的通信工具而进行通信，例如，浏览器、FTP软件、电子邮件就是设备通信中通用的通信工具。现有技术可以实现人类通信，只是通信方式落后，低效昂贵。以信息系统（其拥有者是法人）之间的通信为例，信息系统是通过用户管理、信息系统权限管理、各个信息系统通过开发专用的点对点式的、两系统之间直接连接的数据接口而实现人与人之间的人类通信。

目前存在的问题：网络通，为什么“数据不通，业务不通”？这是因为此处的“通信”属于结构化数据的“人人通信”，即结构化数据在人（自然人、法人）与人（自然人、法人）之间的通信。

以TCP/IP协议为基础的“机机通信”的特点是：“你发了，我收了，OK了！”

“人人通信”的特点：你发了，我收了；我要知道你是谁；你要对你发的数据承担法律责任；也要让我识别存储；也要使数据流通痕迹可追溯不可篡改。

1. 需要解决哪些问题才能设计出通用的数据共享交换平台

要设计出通用的数据共享交换平台，需要解决4种问题：1、数权（用户身份、信息系统权限、数据的责任）；2、流通（数据流通及痕迹）；3、结构（多源异构数据的存贮查询）；4、可信（数据的可信）。

1、数权（用户身份、系统权限、数据的责任）问题：当全球范围内的数千万个信息系统之间共享交换数据时，需要有一种全球统一的、通用的用户身份认证、识别及信息系统权限管理方法。

2、流通（数据流通及痕迹）：数据应该象合同一样，合同双方都有合同原件，收发数据的双方也应该都保留数据流通的痕迹，这样才能形成具有法律效力的完整的证据链，使得事后可以全面追溯数据流通的轨迹。目前的各种信息系统，例如电子政务、电子商务中的数据都只是单方保留数据流通的痕迹，而未把数据发送给普通用户，目前也没有可供普通用户保存、查询、阅读这些多源异构的结构化数据的通用的工具。

3、结构（多源异构数据的存贮查询）：由于大多数信息系统都是采用关系数据库存贮数据，而这些数据都存在多源异构的问题，当数据的接收方到大量的多源异构数据后，数据的存贮查询的代价非常高。

4、可信（数据的可信）：数据的可信包括收发数据双方的身份的可信、收发数据的载体的可信、提供数据流通服务的机构的可信、可追溯不可篡改的数据流通痕迹，使数据流通过程成为具有法律效力的完整证据链。

要成为通用的数据共享交换平台，需要满足两大条件：一是全球统一的身份认证，二是全球统一的通用的数据流通工具。具体而言，通用数据共享交换平台必须解决如下6个共性问题，并拥有相应的功能：

1、全球统一的身份认证

2、全球统一的系统权限

3、全球统一的单帐号登录

4、全球统一的数据流通方法和工具

5、结构数据的多源异构问题

6、数据可信

除了上述6个问题，还需要解决开放型系统设计模式问题及数据识别问题。或者说，现有的通信协议未能解决的8个共性问题；也可以说新的通信协议需要解决的8个共性问题：

1、全球统一的身份认证

2、全球统一的系统权限

3、全球统一的单帐号登录

4、全球统一的数据流通方法和工具

5、结构数据的多源异构问题

6、数据可信

7、软件设计模式：如何由当前的孤岛型系统设计模式转化为适合软件互操作的开放型模式。

8、数据识别：当前的软件设计有问题，不适合共享交换，需要新理论。

1. 通用的数据共享交换平台：契约数据流通系统集群

契约数据流通系统集群是一种通用的数据共享交换平台，犹如手机、电子邮件，可在全球范围内实现任何结构化数据的互联互通、共享交换。有关契约数据流通系统集群详细内容可在百度查询。

1. 当前的数据共享交换平台存在的问题及误区

1. 目前的数据共享交换平台实质上是数据集成平台

数据集成是把不同来源、格式、特点性质的数据在逻辑上或物理上有机地集中，从而为企业提供全面的数据共享。

开放共享的范围应是全球；数据集成只是针对局部的区域、有限的部门、有限的系统，都是针对具体的某个区域、某些部门的有限的系统之间的共享交换。数据集成平台实质就是把若干个小孤岛组成一个大孤岛，不能与外界互联互通。

通用的数据共享交换平台只应参与数据共享交换的共性问题，而不应参与具体的数据共享交换中个性问题，例如不应参与数据共享交换中“数据ETL、数据治理、数据识别、数据权限”，如果数据共享交换平台参与数据需求方及数据提供方之间的“数据ETL、数据治理、数据识别、数据权限”，那么该平台肯定是专用的平台。“数据ETL、数据治理、数据识别、数据权限”是数据需求方及数据提供方之间的事，应由数据需求方及数据提供方协商解决，数据共享交换平台不应代劳。

1. 政务数据资源目录

如果说一个数据共享交换平台与“数据资源目录”密切相关，那么，这个平台肯定是专用的平台而不是通用的数据共享交换平台。对于通用的数据共享交换平台而言，平台与“数据资源目录”应是无关的，即无论平台中是否含有“数据资源目录”都可以实现数据共享交换。“数据资源目录”只是数据共享交换的“HELP（帮助文档）”，该文档可以放在共享交换平台上，也可以放在其它地方，也可以是纸质文档。

1. 数据共享交换的权限管理应由数据的提供方负责

根据“谁主管，谁提供，谁负责”、“谁经手，谁使用，谁管理，谁负责”的原则，数据共享交换平台不应参与共享数据使用权的审批，应该由数据提供方自己判断数据的需求方是否具有获得共享数据的资格，并由数据提供方的系统根据规则而为自动地为用户授权。政务数据共享交换的频次非常高，用户数量庞大，若人工审批共享数据的共享权限，工作量非常大，影响效果。

数据共享交换平台不应参与具体的甲乙双方的数据共享交换，甲乙双方共享交换什么样的数据、何时共享交换数据等都应由甲乙双方决定。数据共享交换平台应该犹如收发电子邮件那样，电子邮件平台只提供工具，收发什么样的邮件、邮件中包含什么样的内容，由收发双方决定，电子邮件平台不参与其中。

数据共享的决定权由共享数据的提供方决定并承担责任，上级主管部门不应参与到具体的数据的共享交换中。开放共享的数据都是非涉密数据，国家的主管部门只要做到“事前定规则、事中留痕、事后监督”即可。

1. 共享数据存储在哪里？是否需要国家统一存储？

根据“谁主管，谁提供，谁负责”、“谁经手，谁使用，谁管理，谁负责”的原则，共享数据存储在什么地方也应数据提供方负责，国家不应强调统一存储，上级主管机关也不能越级，这涉及到责任问题。

1. 数据治理、ETL

大多数现有的数据共享交换平台中都含有数据治理、ETL的功能。从表面上看，这可使平台的功能更加强大，实际上，凡是含有数据治理、ETL功能的平台，肯定都是专用的平台。数据共享交换平台应该把重点放在“共享交换”，数据治理、ETL应由数据共享交换的双方自己解决。

1. 电子印章是穿新鞋走老路，在数据共享交换中是非必须的

电子印章只是实现数据可信的一种方法，这种方法只是在一定范围内有积极的作用，然而在全球范围内、大批量、高频次的数据共享交换中，电子印章就不适用，因为当前的电子印章未做到全球互联、互认、互信。

契约数据流通系统集群是通过平台的可信、收发数据的双方的身份可信，以及流通流通痕迹可追溯不可篡改而实现数据可信，不需要电子印章。

1. 政务数据共享交换平台是全国统一建立，还是各省市建立自己的平台？

要充分地实现政务数据开放共享，就必须利用通用的数据共享交换平台来实现，正因如此，无论是国家级的数据共享交换平台，还是省市级的地方平台，其功能和作用都是一样的，都是可以实现全球范围的数据共享交换的平台。理论上，各通用的数据共享交换平台都是平等关系，不存在上下级关系。

由于数据共享交换平台保留了数据流通痕迹，为了数据安全，国家机关的工作人员都要使用政府机构专用的数据共享交换平台（不对非政府机构人员及组织开放，但可外界互联互通），也方便追溯数据流通的详细情况。

全国统一建立政务数据共享交换平台有利于普通人识别收到的数据是不是政府机构所发，可使政务数据更具权威性。各省市建立自己的数据共享交换平台，有利于分析统计追溯数据流通的具体情况。

1. 总结

要高效地实现政务数据开放共享就必须创立全新的软件设计理论体系。现有的软件设计理论体系是“以我为中心”的理论体系，全球无数事实表明，以此理论体系为基础而设计的信息系统百分之百是信息孤岛，无一例外。现有的数据共享交换平台其实也是以现有理论体系而建立的，也是“以我为中心”的信息孤岛，只能实现有限的若干个系统之间的有限的数据共享交换，而不是通用的，不能实现全球范围内的各种软件系统之间的数据共享交换。“契约数据流通系统集群”是一种通用的数据流通平台，可在全球范围内实现各种结构化数据的共享交换，具体内容可百度查询。