c# SQLServer导入大批量数据

说来惭愧，关于批量导入数据，一直采用的是最原始的方式，一条一条插入，或者100条一块批量插入，这种方式，五十步笑百步，并没有明显的性能提升，

昨天在从别的库查询数据到DataTable内存中，然后插入另外一个库的时候，时间慢的要死，区区10W条数据，竟然要执行三分半。。。

声明一下，目标库是SQL Server。

百度了一下，SQLBulk闯入了我的视野，其实以前也了解过这个家伙，不过一直没有应用，

直接上代码。。。

 public int SqlBulkInsertForSQLServer(DataTable dt, string destionTable){int ires = 0;string costtime = "";SqlBulkCopy bulkCopy = new SqlBulkCopy(ConnectionString);bulkCopy.DestinationTableName = destionTable;bulkCopy.BatchSize = dt.Rows.Count;var watch = CommonHelper.TimerStart();if (dt != null && dt.Rows.Count != 0){bulkCopy.WriteToServer(dt);}bulkCopy.Close();ires = dt.Rows.Count;return ires;}

　　1.这个地方需要注意的是DataTable列的顺序，要跟目标库的列顺序一直，包括数据库字段类型。。。

2.有的时候报类型不一致，排查的时候发现类型一致，这个时候要去确认一下是不是少加列了，导致跟目标表的字段不一致。

SQL Server库，如果目标表有一个自增列的话，会出现问题，这种情况下建议先建个临时表，将数据导入后，再操作临时表插入目标表。

转载于:https://www.cnblogs.com/niuge/p/9321952.html

c# SQLServer导入大批量数据相关推荐

MySQL load data 快速导入大批量数据
load data 简介 MySQL load data 语句能快速将一个文本文件的内容导入到对应的数据库表中(一般文本的一行对应表的一条记录). 数据库应用程序开发中,涉及大批量数据需要插入时,使用 ...
以文件形式导入大批量数据
对于InnoDB类型的表按主键顺序插入因为InnoDB类型的表是安装主键顺序保存的,所以将导入的数据按照主键的顺序排列,可以有效的提高导入效率,如果InnoDB类型的表没有主键,那么系统会自动默认 ...
sqlserver 导入导出数据向导
准备数据比如两张格式相同的表,table1和table2,数据格式如图: 注意主键id是自增的. 需求现在把table1的指定数据导入到table2中,由于两张表都是主键自增,table2中可能存 ...
Oracle一次性导入大批量数据
一.如果你想导入数据库的数据存放于一个txt文件中,并且这些数据之间是有分隔符做了分割的,那么就可以使用sqlldr来将数据导入到数据库中. 我只是简单的举个栗子,方便演示.假设数据之间靠'|'来进行 ...
php读取文件使用redis的pipeline导入大批量数据
第一次写博客,哈哈,纯属用来记录一下自己工作中遇到的问题及解决办法. 昨天因为工作的需求,需要做一个后台上传TXT文件,读取其中的内容,然后导入redis库中.要求速度快,并且支持至少10W以上的数据 ...
sqlserver导入execl数据ACE.OLEDB.12.0错误
公司这几天又现需求,需要在sqlserver2008导入execl文件但是97-2003的格式就可以就是(*.xls) 但是2007的(*.xlsx)就报以下的错误经过测试,解决的办法是安装Acc ...
【操作经验】Mysql如何加载导入大批量数据，解决报错ERROR 3948 (42000)
前言:新装mysql,遇到ERROR 3948 (42000):Loading local data is disabled; this must be enabled on both the cli ...
线程导入大数据入库_多线程批量插入数据小结
在测试的过程中,无法避免的需要做一些性能压测,造数据的时长在此时就会备受关注.比如,造数据的时候用多线程还是多进程,用直接插入DB方式还是用先写文件后导入mysql的方式,写文件是写批量sql后面so ...
大数据批量导入，解决办法，实践从定时从 sqlserver 批量同步数据到 mySql
c#代码,批量导入数据代码 public class MySql_Target : ZFCommon.DataAccesser.Base.DABase{public MySql_Target(){th ...

c# SQLServer导入大批量数据

c# SQLServer导入大批量数据相关推荐

最新文章

热门文章