http://www.cnblogs.com/rader/articles/1543760.html

这两天再做一个数据转换的程序，讲原来用二进制形势存储的数据转换到SQLite数据库中去。记录总共有1千万多点。开发使用的是.net framework 3.5 sp1的环境，所以直接使用了EntityFramework方便数据库的操作。EntityFramework倒是省了一些事情，可是效率上让人无法忍受。整个程序运行一次花了40多分钟。利用EntityFramework，首先从数据库生成模型，然后我这样来保存数据：

Ticket是我要插入数据库中的记录。一千多万条记录，我是分成5000条一批进行处理的。5000条记录先被添加到GameSetEntities（DataContext）中，然后进行提交。

利用StopWatch，我记录了这5000条记录插入数据库所消耗的时间，平均是1.1秒。（2080 * 1.1）/60 大约是36分钟，也就是说整个程序的运行时间中有80%多的时间是花在了数据库的插入操作上。插入5000条记录平均花费1.1秒，这个速度实在太慢了。我开始怀疑是不是EntityFramework效率问题？既然这样那就比比看吧，看看纯粹的ado.net代码是不是比它快。下面是纯手工的数据库操作代码：

这样的代码一运行，发现速度更慢了，5000记录居然要20秒的时间……看来问题不是在这里。

Google一番之后，在Sqlite.net ADO Provider的论坛里发现这篇文章：Fastest Bulk Inserts.在最后一个例子“Fastest universal way to insert data using standard ADO.NET constructs”中作者提到“100,000 inserts on my machine in 1.4 seconds”--10万条记录插入耗时1.4秒。我才5000条不应该需要20秒那么慢的（用EntityFramework需要1.1秒，后来分析应该是内部使用了批量插入操作），看来是我的代码写的有问题。仔细阅读了作者给的例子之后发现，我们代码的差别主要在于事务的使用上。作者给的例子使用事务一次性提交10万条记录，而我的代码没有使用事务，而是每次提交。于是我改写了一下我的代码，也加上事务进行提交：

结果5000条记录的插入时间由原来的1.1秒变为0.09秒，这是一个非常大的提升。

但是为什么加上一个事务之后的差别这么大呢？我翻了翻Sqlite的文档，“Database Speed Comparison”里有解释：

在“Test1：1000 INSERTS”下面有一句话：……“In this test, each SQL statement is a separate transaction so the database file must be opened and closed and the cache must be flushed 1000 times”……

在“Test 2:25000 INSERT in a transaction”下面有另外一句话：……“When all the INSERTs are put in a transaction, SQLite no longer has to close and reopen the database or invalidate its cache between each statement. ”……

从上面两句话看来，没有事务的时候，SQLite的插入操作使用了太多的IO操作，而是用事务的话，只需要一次IO。