python mssql bulk_SqlBulkCopy:批量插入SqlServer的利器

废话少说，先看效果。295万多条业务数据一次性插入数据库的一个表中，数据大小大约为280M，总耗时38秒。上图，

表的定义是这样的，

如果使用事务，那么时间增长到46s，也就是多了8s。我用SqlBulkCopy的InternalTransaction做的测试，

SqlBulkCopy sbc = new SqlBulkCopy(m_dal.ConnectionString, SqlBulkCopyOptions.TableLock | SqlBulkCopyOptions.UseInternalTransaction);

几点特殊说明： SqlBulkCopy只适合做Insert操作，需要Upate数据的就别尝试了。

BatchSize我没设置，默认为0，是一次全部提交所有数据。

表有个Clustered Index。

把数据全部读取到内存的一个DataTable中(作为SqlBulkCopy的输入、数据源)，比较耗费内存。可以IDataReader读取数据的方式。

测试程序和数据库在一台机器上，没有网络延时。

国外有网友做了更为详细的测试，请移步“SqlBulkCopy-Performance-1.0”。文中有几个重要的结论这里摘录一下：

Batch Size The results are quite surprising. If we use the BatchSize parameter, performance get worse and worse as we set it to lower values.

When we reach 10.000 of Batch Size, then the difference in time among the various tests becomes very small.

the best performance is obtained when we use 0 as BatchSize

TABLOCK needed to get minimal logged operations.

to get best speed BULK INSERT operations.

Clustered vs Heap it is interesting to note that the loading time of a clustered table is roughly 4 times the loading of a heap.

it is always better to first drop the index and re- create it afterwards. The gain in performance is tremendous.

python mssql bulk_SqlBulkCopy:批量插入SqlServer的利器相关推荐

MySQL(一) Python操控mysql批量插入数据
在Python中,通过pymysql模块,编写简短的脚本,即方便快捷地控制MySQL数据库一.连接数据库使用的函数:pymysql.connect 语法:db=pymysql.connect(ho ...
MSSQL数据批量插入优化详细
序言现在有一个需求是将10w条数据插入到MSSQL数据库中,表结构如下,你会怎么做,你感觉插入10W条数据插入到MSSQL如下的表中需要多久呢? 或者你的批量数据是如何插入的呢?我今天就此问题做个探 ...
java 高效批量插入 sqlserver 数据库
@Testpublic void clockingIn_Img() throws Exception{DbJdbc idb = DbMaster.getIDB("JXT");Lis ...
python mysql批量insert数据_使用python往mysql批量插入数据时，报错not all arguments converted...
我用这段命令可以往mysql数据库插入数据 insert into moderation_task(id, media_id, user_id, media_url_or_path, media_ti ...
python往数据库批量插入多条数据
1.需要定义构造函数(init),给实例属性赋值(包括host.port.user.password和database) 2.连接数据库 3.插入数据,先在数据库中建好表,并且添加好所需要的字段 4. ...
java sqls.add(),java 高效批量插入 sqlserver 数据库
PHP读取Excel数据写入数据库(包含图片和文字) public function test(){ $exts = 'xlsx'; //导入PHPExcel类库,因为PHPExcel没有用命名空间, ...
C#中几种数据库的大数据批量插入
C#语言中对SqlServer.Oracle.SQLite和MySql中的数据批量插入是支持的,不过Oracle需要使用Orace.DataAccess驱动. IProvider里有一个用于实现批量插 ...
【转】几种数据库的大数据批量插入
在之前只知道SqlServer支持数据批量插入,殊不知道Oracle.SQLite和MySql也是支持的,不过Oracle需要使用Orace.DataAccess驱动,今天就贴出几种数据库的批量插入解 ...
springmvc+mybatis+ajax 批量插入数据
2019独角兽企业重金招聘Python工程师标准>>> 批量插入.AJAX发起请求,核心代码如下: var mids = new Array(); for (var i=0; i&l ...

python mssql bulk_SqlBulkCopy:批量插入SqlServer的利器

python mssql bulk_SqlBulkCopy:批量插入SqlServer的利器相关推荐

最新文章

热门文章