原文:不同版本的SQL Server之间数据导出导入的方法及性能比较

工作中有段时间常常涉及到不同版本的数据库间导出导入数据的问题,索性整理一下,并简单比较下性能,有所遗漏的方法也欢迎讨论、补充。

00.建立测试环境

01.使用SQL Server Import and Export Tool

02.使用Generate Scripts

03.使用BCP

04.使用SqlBulkCopy

05.使用Linked Server进行数据迁移

06.使用RedGate的SQL Data Compare

07.结果对比

可以先看下测试的结果

00.建立测试环境

建立一个测试的环境,一个数据源数据库,版本为SQL Server 2008,一个目标数据库,版本为SQL Server 2000。

实验环境如下图所示,源数据库使用语句生成了100万的测试数据。

建立测试表并生成100万的测试数据

 1 IF OBJECT_ID('DEMOTABLE') IS NOT NULL 
 2     DROP TABLE DEMOTABLE
 3 GO
 4 CREATE TABLE DEMOTABLE
 5     (
 6       COL1 VARCHAR(50) ,
 7       COL2 VARCHAR(50) ,
 8       COL3 VARCHAR(50)
 9     )
10 INSERT  INTO DEMOTABLE
11         SELECT TOP 1000000
12                 NEWID() ,
13                 NEWID() ,
14                 NEWID()
15         FROM    MASTER..SPT_VALUES T1
16                 INNER JOIN MASTER..SPT_VALUES T2 ON 1 = 1
17                 INNER JOIN MASTER..SPT_VALUES T3 ON 1 = 1

01.使用SQL Server Import and Export Tool

使用SQL Server Import and Export Tool进行数据的导出,也可以在目标数据库端使用Import进行导入,这部分套件也是SSIS的一部分。

在源数据库上右键,选择Task -> Export Data

分别填写源数据库和目标数据库的连接信息。

选择“copy data from one or more tables or views”

选择需要导数据的表,并且可以编辑列的Mapping关系。

可以选择立即执行或者存储为SSIS的包,用于执行计划等其他用途。

这里我们选择立即执行。

注意导入的时候如果遇到如下的错误

Error 0xc02020f4: Data Flow Task: The column "Tel" cannot be processed because more than one code page (936 and 1252) are specified for it.
(SQL Server Import and Export Wizard)

是因为两边的数据库的Collation设置不一样造成的,需要设置同样的Collation。

  • 用时约1分30秒

02.使用Generate Scripts生成脚本

在源数据库上右键,选择Task -> Geneate Scripts...

配置相关信息,注意选择数据库的版本并将Script Data设置成True。

这里需要注意,因为有100万的数据,所以导出的SQL文件就有400多M,所以用SQL Server Management Studio是打不开的。

所以只能使用sqlcmd执行。

sqlcmd语句

1 C:\>sqlcmd -i export.sql -d ExportDataDemo_Destination -s 192.168.21.165 -U sa -P 1234567890

  • 用时约28分钟

03.使用BCP进行导出导入

在尝试了前面两个效率低下的工具之后,我们终于开始尝试下SQL Server中专门用于导数据的工具:BCP。

关于BCP的详细用法可以参见MSDN的帮助文档。

我们先使用BCP导出数据。

-U和-P后面分别为数据库的用户名和密码。

我们可以看到100万的数据导出仅用了1.8秒。

现在我们再使用BCP进行导入。

执行后发现,导入数据使用了20.8秒,还是很快的。

  • 用时1.872秒+20.810秒=22.682秒

04.使用SqlBulkCopy

.NET Framework 2.0中增加的SqlBulkCopy类可以进行高效的数据迁移动作,这也为代码实现数据迁移提供了接口。

并且SqlBulkCopy类提供了修改字段Mapping关系的方法ColumnMappings。

使用SqlBulkCopy类进行数据迁移

 1 using System;
 2 using System.Data;
 3 using System.Data.SqlClient;
 4 
 5 namespace BulkInsert
 6 {
 7     static class Program
 8     {
 9         static void Main()
10         {
11             DateTime dateTimeStart = DateTime.Now;
12             Console.WriteLine("Start Insert:" + dateTimeStart.ToString("HH:mm:ss fff"));
13             //导入导出的数据库连接
14             SqlConnection connectionDestination = new SqlConnection("Server =.; User ID=datascan; Password=DTSbsd7188228; Initial CataLog=ExportDataDemo_Destination;");
15             SqlConnection connectionSource = new SqlConnection("Server =.; User ID=datascan; Password=DTSbsd7188228; Initial CataLog=ExportDataDemo_Source;");
16 
17             //实例化一个SqlBulkCopy
18             var bulker = new SqlBulkCopy(connectionDestination) { DestinationTableName = "DEMOTABLE", BulkCopyTimeout = 600 };
19 
20             //获取源数据库的数据
21             SqlCommand sqlcmd = new SqlCommand("SELECT * FROM DEMOTABLE", connectionSource);
22             SqlDataAdapter sqlDataAdapter = new SqlDataAdapter(sqlcmd);
23             DataTable dataTableSource = new DataTable();
24             sqlDataAdapter.Fill(dataTableSource);
25 
26             //可以重新定义字段的Mapping关系
27             //SqlBulkCopyColumnMapping sqlBulkCopyColumnMapping = new SqlBulkCopyColumnMapping("COL1", "NEW_COL1");
28             //bulker.ColumnMappings.Add(sqlBulkCopyColumnMapping);
29             connectionDestination.Open();
30             bulker.WriteToServer(dataTableSource);
31             bulker.Close();
32             DateTime dateTimeEnd = DateTime.Now;
33             Console.WriteLine("Insert Ending:" + dateTimeEnd.ToString("HH:mm:ss fff"));
34         }
35     }
36 }

执行后

  • 用时14.8秒

05.使用Linked Server进行数据迁移

先在源数据库上对目标数据库建立Linked Server,或者反过来也行。

建立Linked Server

1 EXEC sp_addlinkedserver @server = 'LinkedServerToDemo',
2     @srvproduct = 'Export Data Testing', @provider = 'MSDASQL',
3     @provstr = 'DRIVER={SQL Server};SERVER=192.168.21.165;UID=sa;PWD=password;'

是用INSERT INTO...SELECT...进行导入

 1 DECLARE @begin_date DATETIME
 2 DECLARE @end_date DATETIME
 3 SELECT  @begin_date = GETDATE()
 4 
 5 INSERT  INTO LinkedServerToDemo.ExportDataDemo_Destination.dbo.DEMOTABLE
 6         SELECT  *
 7         FROM    ExportDataDemo_Source.dbo.DEMOTABLE
 8         
 9 SELECT  @end_date = GETDATE()
10 SELECT  DATEDIFF(ms, @begin_date, @end_date) AS '用时/毫秒' 

执行用时

  • 用时7.97分钟

06.使用RedGate的SQL Data Compare进行数据迁移

第三方的工具,有数据库结构比较的工具SQL Compare和数据比较工具SQL Data Compare。

执行

因为也是生成INSERT的SQL执行的,所以就不做过多比较了,上面已经测试过了。

07.结果对比

因为这里测试的环境有网络和表结构的特殊情况,不能说明所有情况下效能的差异,但是也可作为参考之用。

下面给出比较结果。

不同版本的SQL Server之间数据导出导入的方法及性能比较相关推荐

  1. 在SQL Server中将数据导出为XML和Json

    BCP "SELECT DEPT_CODE,PARENTCODE FROM longshinewebhr.dbo.b01 where PARENTCODE like '10201%' FOR ...

  2. SQL Server将数据导出SQL脚本的方法 转

    SQL Server里面的生成SQL脚本,只会包含数据库及表的字段结构,而不会包含表的数据,也就是SQL脚本里面只有Create database,Create table 这样的语句,没有inser ...

  3. Sql Server中三种字符串合并方法的性能比较

    最近正在处理一个合并字符吕的存储过程,在一个测试系统的开发中,要使用到字符串合并功能,直接在Sql中做.         示例:         有表內容﹕         名称  內容        ...

  4. SQL Server 2008 R2导出数据脚本和导入数据库脚本的方法(原创+转载)

    以前看到有些朋友说必须SQL Server 2008才能导出包含数据的脚本,后来仔细研究发现其实SQL Server 2008 R2也是可以的,只需在导出的时候在高级中设置一下即可. 1.首先在数据库 ...

  5. sqlserver 高版本数据倒到低版本 不同SQL Server版本间的数据库恢复问题

    1:通过管理器的脚本生成向导,把数据库,表,存储过程等对象的脚本生成,然后在低版本的SQL Server下执行建立这些对象. 2:通过DTS/SSIS,将表中的数据导过去. 参考:不同SQL Serv ...

  6. SQL Server数据库中批量导入数据的四种方法总结

    在软件项目实施的时候,数据导入一直是项目人员比较头疼的问题.其实,在SQL Server中集成了很多成批导入数据的方法.有些项目实施顾问头疼的问题,在我们数据库管理员眼中,是小菜一碟.现在的重点就是, ...

  7. SQL Server 迁移数据到MySQL

    一.背景 由于项目开始时候使用的数据库是SQL Server,后来把存储的数据库调整为MySQL,所以需要把SQL Server的数据转移到MySQL:由于涉及的表比较多,所以想在MySQL中生成对应 ...

  8. 03.三月风雨愁断肠,学习大数据特别忧伤——谈谈AKS创建SQL Server大数据群集创建愁断肠

    03.三月风雨愁断肠,学习大数据特别忧伤--谈谈AKS创建SQL Server大数据群集创建愁断肠 [TOC] 前言 使用AKS创建SQL Server大数据群集有几种方法,由于产品不断的更新,SQL ...

  9. SQL Server 2019 新特性之 SQL Server大数据群集 介绍(一)

    SQL Server 2019 新特性之 SQL Server大数据群集 介绍(一) 从开始SQL Server 2019 预览,SQL Server 大数据群集允许你部署的 Kubernetes 上 ...

最新文章

  1. ehcache导致Tomcat重启出错
  2. Python——pyiso8601
  3. visual studio无法更新_VS Code Python 扩展 5 月更新
  4. TensorFlow中查看checkpoint文件中的变量名和对应值
  5. 6阶群的非平凡子群_离散数学复习笔记
  6. 博客整理002-KICAD生成gerber板厂打不开的原因
  7. ads1115应用电路及驱动程序
  8. C++编译错误提示 [Error] name lookup of 'i' changed for ISO 'for' scoping
  9. 9.FLINK Sink\API\自定义sink
  10. 23种设计模式——UML类图+简要分析+例题
  11. 如何理解ifconfig中的errors/dropped/fifo/frame统计指标
  12. OCIEnvCreate 失败,返回代码为 -1,但错误消息文本不可用。
  13. GB/T 7714-2005参考文献规范[转]
  14. 程序员是否可以在家办公——在家办公的利与弊
  15. Unity:排序图层
  16. 淘宝婴儿产品销售的数据分析
  17. Delphi快速开发本机跨平台Google Maps谷歌地理信息系统GIS解决方案
  18. 如何理解并掌握 Java 数据结构
  19. 远程服务器镜像,windows 打包docker 镜像自动到远程服务器
  20. nuxt解决首屏加载慢问题_Steam商店加载慢/社区进不去有效解决办法

热门文章

  1. Android录制和播放PCM数据
  2. NUMA导致的MySQL服务器SWAP问题分析
  3. GridSearchCV和RandomizedSearchCV调参
  4. 播放视频比较好的框架
  5. LeetCode求能够装得最多的水
  6. MyBatis源码分析-IDEA新建MyBatis源码工程
  7. 【语言处理与Python】1.2将文本当作词链表
  8. 【转】判断五张牌是不是一个顺子
  9. seo优化闲了吧----第一回目
  10. 1Python生成高质量Html文件:Pyh模块+Bootstrap框架