不同版本的SQL Server之间数据导出导入的方法及性能比较
工作中有段时间常常涉及到不同版本的数据库间导出导入数据的问题,索性整理一下,并简单比较下性能,有所遗漏的方法也欢迎讨论、补充。
00.建立测试环境
01.使用SQL Server Import and Export Tool
02.使用Generate Scripts
03.使用BCP
04.使用SqlBulkCopy
05.使用Linked Server进行数据迁移
06.使用RedGate的SQL Data Compare
07.结果对比
可以先看下测试的结果
00.建立测试环境
建立一个测试的环境,一个数据源数据库,版本为SQL Server 2008,一个目标数据库,版本为SQL Server 2000。
实验环境如下图所示,源数据库使用语句生成了100万的测试数据。
![](/assets/blank.gif)
![](/assets/blank.gif)
2 DROP TABLE DEMOTABLE
3 GO
4 CREATE TABLE DEMOTABLE
5 (
6 COL1 VARCHAR(50) ,
7 COL2 VARCHAR(50) ,
8 COL3 VARCHAR(50)
9 )
10 INSERT INTO DEMOTABLE
11 SELECT TOP 1000000
12 NEWID() ,
13 NEWID() ,
14 NEWID()
15 FROM MASTER..SPT_VALUES T1
16 INNER JOIN MASTER..SPT_VALUES T2 ON 1 = 1
17 INNER JOIN MASTER..SPT_VALUES T3 ON 1 = 1
01.使用SQL Server Import and Export Tool
使用SQL Server Import and Export Tool进行数据的导出,也可以在目标数据库端使用Import进行导入,这部分套件也是SSIS的一部分。
在源数据库上右键,选择Task -> Export Data
分别填写源数据库和目标数据库的连接信息。
![](/assets/blank.gif)
选择“copy data from one or more tables or views”
选择需要导数据的表,并且可以编辑列的Mapping关系。
可以选择立即执行或者存储为SSIS的包,用于执行计划等其他用途。
这里我们选择立即执行。
注意导入的时候如果遇到如下的错误
Error 0xc02020f4: Data Flow Task: The column "Tel" cannot be processed because more than one code page (936 and 1252) are specified for it.
(SQL Server Import and Export Wizard)
是因为两边的数据库的Collation设置不一样造成的,需要设置同样的Collation。
- 用时约1分30秒
02.使用Generate Scripts生成脚本
在源数据库上右键,选择Task -> Geneate Scripts...
配置相关信息,注意选择数据库的版本并将Script Data设置成True。
这里需要注意,因为有100万的数据,所以导出的SQL文件就有400多M,所以用SQL Server Management Studio是打不开的。
所以只能使用sqlcmd执行。
![](/assets/blank.gif)
![](/assets/blank.gif)
- 用时约28分钟
03.使用BCP进行导出导入
在尝试了前面两个效率低下的工具之后,我们终于开始尝试下SQL Server中专门用于导数据的工具:BCP。
关于BCP的详细用法可以参见MSDN的帮助文档。
我们先使用BCP导出数据。
-U和-P后面分别为数据库的用户名和密码。
我们可以看到100万的数据导出仅用了1.8秒。
现在我们再使用BCP进行导入。
执行后发现,导入数据使用了20.8秒,还是很快的。
- 用时1.872秒+20.810秒=22.682秒
04.使用SqlBulkCopy
.NET Framework 2.0中增加的SqlBulkCopy类可以进行高效的数据迁移动作,这也为代码实现数据迁移提供了接口。
并且SqlBulkCopy类提供了修改字段Mapping关系的方法ColumnMappings。
![](/assets/blank.gif)
![](/assets/blank.gif)
2 using System.Data;
3 using System.Data.SqlClient;
4
5 namespace BulkInsert
6 {
7 static class Program
8 {
9 static void Main()
10 {
11 DateTime dateTimeStart = DateTime.Now;
12 Console.WriteLine("Start Insert:" + dateTimeStart.ToString("HH:mm:ss fff"));
13 //导入导出的数据库连接
14 SqlConnection connectionDestination = new SqlConnection("Server =.; User ID=datascan; Password=DTSbsd7188228; Initial CataLog=ExportDataDemo_Destination;");
15 SqlConnection connectionSource = new SqlConnection("Server =.; User ID=datascan; Password=DTSbsd7188228; Initial CataLog=ExportDataDemo_Source;");
16
17 //实例化一个SqlBulkCopy
18 var bulker = new SqlBulkCopy(connectionDestination) { DestinationTableName = "DEMOTABLE", BulkCopyTimeout = 600 };
19
20 //获取源数据库的数据
21 SqlCommand sqlcmd = new SqlCommand("SELECT * FROM DEMOTABLE", connectionSource);
22 SqlDataAdapter sqlDataAdapter = new SqlDataAdapter(sqlcmd);
23 DataTable dataTableSource = new DataTable();
24 sqlDataAdapter.Fill(dataTableSource);
25
26 //可以重新定义字段的Mapping关系
27 //SqlBulkCopyColumnMapping sqlBulkCopyColumnMapping = new SqlBulkCopyColumnMapping("COL1", "NEW_COL1");
28 //bulker.ColumnMappings.Add(sqlBulkCopyColumnMapping);
29 connectionDestination.Open();
30 bulker.WriteToServer(dataTableSource);
31 bulker.Close();
32 DateTime dateTimeEnd = DateTime.Now;
33 Console.WriteLine("Insert Ending:" + dateTimeEnd.ToString("HH:mm:ss fff"));
34 }
35 }
36 }
执行后
- 用时14.8秒
05.使用Linked Server进行数据迁移
先在源数据库上对目标数据库建立Linked Server,或者反过来也行。
![](/assets/blank.gif)
![](/assets/blank.gif)
2 @srvproduct = 'Export Data Testing', @provider = 'MSDASQL',
3 @provstr = 'DRIVER={SQL Server};SERVER=192.168.21.165;UID=sa;PWD=password;'
![](/assets/blank.gif)
![](/assets/blank.gif)
2 DECLARE @end_date DATETIME
3 SELECT @begin_date = GETDATE()
4
5 INSERT INTO LinkedServerToDemo.ExportDataDemo_Destination.dbo.DEMOTABLE
6 SELECT *
7 FROM ExportDataDemo_Source.dbo.DEMOTABLE
8
9 SELECT @end_date = GETDATE()
10 SELECT DATEDIFF(ms, @begin_date, @end_date) AS '用时/毫秒'
执行用时
用时7.97分钟
06.使用RedGate的SQL Data Compare进行数据迁移
第三方的工具,有数据库结构比较的工具SQL Compare和数据比较工具SQL Data Compare。
执行
因为也是生成INSERT的SQL执行的,所以就不做过多比较了,上面已经测试过了。
07.结果对比
因为这里测试的环境有网络和表结构的特殊情况,不能说明所有情况下效能的差异,但是也可作为参考之用。
下面给出比较结果。
不同版本的SQL Server之间数据导出导入的方法及性能比较相关推荐
- 在SQL Server中将数据导出为XML和Json
BCP "SELECT DEPT_CODE,PARENTCODE FROM longshinewebhr.dbo.b01 where PARENTCODE like '10201%' FOR ...
- SQL Server将数据导出SQL脚本的方法 转
SQL Server里面的生成SQL脚本,只会包含数据库及表的字段结构,而不会包含表的数据,也就是SQL脚本里面只有Create database,Create table 这样的语句,没有inser ...
- Sql Server中三种字符串合并方法的性能比较
最近正在处理一个合并字符吕的存储过程,在一个测试系统的开发中,要使用到字符串合并功能,直接在Sql中做. 示例: 有表內容﹕ 名称 內容 ...
- SQL Server 2008 R2导出数据脚本和导入数据库脚本的方法(原创+转载)
以前看到有些朋友说必须SQL Server 2008才能导出包含数据的脚本,后来仔细研究发现其实SQL Server 2008 R2也是可以的,只需在导出的时候在高级中设置一下即可. 1.首先在数据库 ...
- sqlserver 高版本数据倒到低版本 不同SQL Server版本间的数据库恢复问题
1:通过管理器的脚本生成向导,把数据库,表,存储过程等对象的脚本生成,然后在低版本的SQL Server下执行建立这些对象. 2:通过DTS/SSIS,将表中的数据导过去. 参考:不同SQL Serv ...
- SQL Server数据库中批量导入数据的四种方法总结
在软件项目实施的时候,数据导入一直是项目人员比较头疼的问题.其实,在SQL Server中集成了很多成批导入数据的方法.有些项目实施顾问头疼的问题,在我们数据库管理员眼中,是小菜一碟.现在的重点就是, ...
- SQL Server 迁移数据到MySQL
一.背景 由于项目开始时候使用的数据库是SQL Server,后来把存储的数据库调整为MySQL,所以需要把SQL Server的数据转移到MySQL:由于涉及的表比较多,所以想在MySQL中生成对应 ...
- 03.三月风雨愁断肠,学习大数据特别忧伤——谈谈AKS创建SQL Server大数据群集创建愁断肠
03.三月风雨愁断肠,学习大数据特别忧伤--谈谈AKS创建SQL Server大数据群集创建愁断肠 [TOC] 前言 使用AKS创建SQL Server大数据群集有几种方法,由于产品不断的更新,SQL ...
- SQL Server 2019 新特性之 SQL Server大数据群集 介绍(一)
SQL Server 2019 新特性之 SQL Server大数据群集 介绍(一) 从开始SQL Server 2019 预览,SQL Server 大数据群集允许你部署的 Kubernetes 上 ...
最新文章
- ehcache导致Tomcat重启出错
- Python——pyiso8601
- visual studio无法更新_VS Code Python 扩展 5 月更新
- TensorFlow中查看checkpoint文件中的变量名和对应值
- 6阶群的非平凡子群_离散数学复习笔记
- 博客整理002-KICAD生成gerber板厂打不开的原因
- ads1115应用电路及驱动程序
- C++编译错误提示 [Error] name lookup of 'i' changed for ISO 'for' scoping
- 9.FLINK Sink\API\自定义sink
- 23种设计模式——UML类图+简要分析+例题
- 如何理解ifconfig中的errors/dropped/fifo/frame统计指标
- OCIEnvCreate 失败,返回代码为 -1,但错误消息文本不可用。
- GB/T 7714-2005参考文献规范[转]
- 程序员是否可以在家办公——在家办公的利与弊
- Unity:排序图层
- 淘宝婴儿产品销售的数据分析
- Delphi快速开发本机跨平台Google Maps谷歌地理信息系统GIS解决方案
- 如何理解并掌握 Java 数据结构
- 远程服务器镜像,windows 打包docker 镜像自动到远程服务器
- nuxt解决首屏加载慢问题_Steam商店加载慢/社区进不去有效解决办法