本发明涉及数据交换技术，尤其涉及一种可配置的定时数据同步方法。解决企业内部异构系统之间的数据同步问题。主要利用计算机多线程技术、XML技术、数据库技术实现。具有简单配置、快速部署、灵活扩展的特点，并且对于特定系统(比如CRM与ERP系统之间)，一次配置后，可重复使用，有利于配置模板的积累。

背景技术：

在企业中，由于开发时间或开发部门的不同，往往有多个异构的、运行在不同的软硬件平台上的信息系统同时运行，这些系统的数据源彼此独立、相互封闭，使得数据难以在系统之间交流、共享和融合，从而形成了"信息孤岛"。随着信息化应用的不断深入，企业内部、企业与外部信息交互的需求日益强烈，急切需要对已有的信息进行整合，联通“信息孤岛”，共享信息。

数据集成：数据集成通过应用间的数据交换从而达到集成，主要解决数据的分布性和异构性的问题，其前提是被集成应用必须公开数据结构，即必须公开表结构，表间关系，编码的含义等。

对于数据集通常的解决办法，一是我们系统中直接访问对方系统的数据库的方式。这样的方式数据实时性好，没有延迟。缺点是安全性比较差、互相影响的风险也比较大，对方系统可能担心会打乱数据，影响他们的系统，我们系统也因为对方系统数据库是否可用而受影响。第二个是把对方系统的数据拿过来，放到我们的系统的数据库里。

技术实现要素：

对于上述第二种情况，本发明提出了一种可配置的定时数据同步方法，它可以将来自某个系统的数据定时同步到目标系统中。数据同步需要了解5方面信息，数据的来源、来源中的数据、目标、应该放到目标的什么地方还有同步频率。

1、同步数据信息配置DbCrmJob.config。

在这个文件里需要配置的信息包括数据的来源、目的，需要同步的数据，数据同步的方向和步骤。主要节点如下：

数据库信息配置节点，配置数据的来源和目的数据库连接信息，根据实际项目的环境修改配置。

WebService信息配置节点，配置数据的来源和目的为UpdateCrm Interface的连接信息，根据实际项目的环境修改配置，一般只需要修改接口服务器的IP地址。

同步数据配置节点，配置需要同步的数据。每个InfObject相当于数据库中的一个表，Field相当于表中的字段。如果同步双方的表结构相同，可以只配置一个，如果双方的表结构不同都需要配置。

数据同步任务配置节点，配置数据同步的方向，同步的步骤，即将来源于某个数据库或UpdateCRM中的什么数据同步到目的数据库或UpdateCRM。每一个Task表示一个同步任务，可包含多个同步步骤Item,Item为具体的需要同步的数据。

2、数据同步任务定时配置文件jobs.xml。

主要对DbCrmJobCfg.xml配置的数据同步任务的定时执行信息进行配置。配置节点如下：

主要配置作业节点Job和时间触发器节点trigger。Job和DbCrmJobCfg中的任务对应，Job的name需要与DbCrmJob.Config中Task的taskName相同，其他参照注释说明。

trigger配置作业的执行时间，其中的job-name需要job节点的name相同。Trigger的定时分为两种Simple和cron，可以满足不同的需求。

如果需要让任务只在某个时刻执行一次，或者，在某个时刻开始，然后按照某个时间间隔重复执行，简单地说，如果你想让触发器在2007年8月20日上午11：23：54秒执行，然后每个隔10秒钟重复执行一次，并且这样重复5次。那么Simple就可以满足你的要求。

如果你需要像日历那样按日程来触发任务，而不是像Simpler那样每隔特定的间隔时间触发，通常使用cron方式配置定时时间。使用cron，你可以指定诸如“每个周五中午”，或者“每个工作日的9:30”或者“从每个周一、周三、周五的上午9：00到上午10：00之间每隔五分钟”这样日程安排来触发。甚至，象Simple一样，Cron也有一个StartTime以指定日程从什么时候开始，也有一个(可选的)EndTime以指定何时日程不再继续。

Cron表达式举例

例1–一个简单的每隔5分钟触发一次的表达式

"0 0/5***？"

例2–在每分钟的10秒后每隔5分钟触发一次的表达式(例如.10:00:10am,10:05:10等.)。

"10 0/5***？"

例3–在每个周三和周五的10：30，11：30，12：30触发的表达式。

"0 30 10-13？*WED,FRI"

例4–在每个月的5号，20号的8点和10点之间每隔半个小时触发一次且不包括10点，只是8：30，9：00和9：30的表达式。

"0 0/30 8-9 5,20*？"注意，对于单独触发器来说，有些日程需求可能过于复杂而不能用表达式表述，例如：9：00到10：00之间每隔5分钟触发一次，下午1：00到10点每隔20分钟触发一次。这个解决方案就是创建两个触发器，两个触发器都运行相同的任务。

3、日志配置文件JobScheduler.exe.config。

对程序的运行信息、任务执行信息、错误信息的日志输出配置。程序默认配置为错误信息输出到文件(运行目录下的log目录)并且将错误日志发送邮件给指定的的维护人员。对于程序的运行日志可运行logView.bat查看实时日志。

部署时主要修改如下信息：

[测试项目]修改为实际的项目名称

***@inspur.com修改维护人员的邮件地址

4、SQL Server生成字段配置SQL

本发明的有益效果是

基于XML配置，配置灵活、使用简单；

支持全量更新与增量更新；

支持系统之间双向定时数据同步；

灵活的定时策略，包括固定频次重复执行和特定时间点执行，支持cron表达式；

预制CRM系统和ERP系统数据处理模板，方便特定系统间的快速部署，提高效率；

采用服务部署方式，运行稳定，操作系统启动后自动重启，无须人为参与；

完备的反馈机制，出现错误自动发送邮件给维护人员，及时解决，调试信息和运行信息可通过配置决定是否输出。

附图说明

图1是DbCrmJob.xml和Jobs.xml各配置节点关系示意图。

具体实施方式

下面对本发明的内容进行更加详细的阐述：

本发明提供的一种可配置的定时数据同步方法与装置，实现方式是基于数据库层面来实现系统之间的数据交换，对现有业务系统无影响。支持SqlServer/Oracle与SqlServer/Oracle之间、SqlServer/Oracle与UpdateCRM系统之间双向定时数据同步。

主要实现代码如下：

本发明特点

1、在数据库层面完成数据同步，支持Oracle、SqlServer两种数据库，预制数据库访问层接口，可通过扩展支持其他数据库；

2、部署一套程序，通过配置，可以支持任意多个系统间的数据交换；

3、可通过xml配置，Sql和存储过程三种方式获取数据；

4、可根据不同系统的要求配置字段的时间格式，如20160819、2016-08-19、2016/08/09；

5、可为每次数据同步的一批数据生成一个批号，以方便导入之后的处理；

6、可为每批数据生成记录序号；

7、对于主从表，可以先导入主表数据，再导入从表数据，然后通过本次批次号做后续处理；

8、对于目标数据记录，可以配置数据同步时间信息(何时同步的数据)；

9、可自动判断每条数据是更新或添加；

10、支持全量更新和增量更新；

11、存错过程支持灵活的时间表达式；

12、支持在同步前调用源数据库的存储过程，以便对本次同步的数据做预处理；

13、在同步后可以调用目标数据库的存储过程，以便对本次同步的数据做后处理，比如对本批次数据做数据转换；

14、数据同步定时时间，支持Cron表达式，可按固定频次，如没5秒执行，以及特定时间点循环执行，如表达式“0 0 23**？”表示每天晚上11点执行。

15、可以配置日志的输出，如调试日志、运行日志、错误日志等

16、出现错误后，将错误日志发送邮件给维护人，以便及时解决问题。