mysql使用jdbc进行批量插入时把事务设为手动提交比事务自动提交速度快了10倍

第一次写博客，写的不好请多多包涵。欢迎评论

今天需要对mysql做一个批量插入的操作，使用的是原生的jdbc对mysql进行操作，大约插入20几万条数据，刚开始事务是自动提交的，插完数据大约用了4分钟，后来把事务改为手动提交，插完数据用了20秒，时间相缩短了十倍。

如果不设置手动提交事务，那么默认每条插入语句都是一个事务，每次都要提交事务。设置手动提交事务的话，可以在循环前开启事务，循环结束后再提交事务，只需要提交一次事务。

下面是代码

@Test
public void getModelDetailLogV2(){/*数据源*/List<ModelShowDetailLogV2> all = modelShowLDetailLogV2Service.findAll();Connection connection = null;try {// 1.加载MySQL的驱动Class.forName("com.mysql.jdbc.Driver"); /*连接数据库的参数*/connection = DriverManager.getConnection("jdbc:mysql://localhost:3306/log_repeat", "root", "root");/*插入的sql*/String sql="INSERT into modelshowdetaillogv2(id,showId,email,browserTime,time,result,\n" +"platform,tipAmount,detail,modelShowId,logNo,logType,timeDate,customerName) VALUES(?,?,?,?,?,?,?,?,?,?,?,?,?,?)";connection.setAutoCommit(false);//将自动提交关闭，开启手动提交PreparedStatement preparedStatement = connection.prepareStatement(sql);long start=System.currentTimeMillis();/*循环插入*/for (int i=0;i<all.size();i++){preparedStatement.setString(1,all.get(i).getId());preparedStatement.setString(2,all.get(i).getShowId());preparedStatement.setString(3,all.get(i).getEmail());preparedStatement.setLong(4,all.get(i).getBrowserTime());preparedStatement.setLong(5,all.get(i).getTime());preparedStatement.setInt(6,all.get(i).getResult());preparedStatement.setString(7,all.get(i).getPlatform());preparedStatement.setInt(8,all.get(i).getTipAmount());preparedStatement.setString(9,all.get(i).getDetail());preparedStatement.setString(10,all.get(i).getModelShowId());preparedStatement.setString(11,all.get(i).getLogNo());preparedStatement.setString(12,all.get(i).getLogType());preparedStatement.setLong(13,all.get(i).getTimeDate());preparedStatement.setString(14,all.get(i).getCustomerName());preparedStatement.addBatch();//把数据放入缓存区if(i%10000==0){//刷新缓存区preparedStatement.executeBatch();preparedStatement.clearBatch();//清除之前的数据}}//刷新缓存区preparedStatement.executeBatch();preparedStatement.close();connection.commit();//执行完后，手动提交事务connection.setAutoCommit(true);//在把自动提交打开System.out.println("插入完成");long end=System.currentTimeMillis();System.out.println("花费时间："+(end-start));} catch (ClassNotFoundException e) {e.printStackTrace();} catch (SQLException e) {e.printStackTrace();}finally{if(connection != null){try {connection.close();} catch (SQLException e) {e.printStackTrace();}}}}

mysql使用jdbc进行批量插入时把事务设为手动提交比事务自动提交速度快了10倍相关推荐

JDBC executeBatch批量插入数据
JDBC executeBatch批量插入数据 JDBC executeBatch批量插入数据 JDBC executeBatch批量插入数据 con.setAutoCommit(false); 项目 ...
### jdbc 向数据库插入特殊字符失败。SQL报错的问题。【批量插入时手动解决特殊字符，根本不现实！！】
==== 不禁感叹:框架就是框架!!!不需要再手动处理很多业务以外的各种繁琐处理. [这也是为什么生产环境基本只使用框架的原因!] ===批量插入SQL如何写的[重点!] 版本1: [old] ...
MySQL + MyBatis 批量插入时存在则忽略或更新记录
一.存在时则忽略为什么在发现重复时会忽略?这里面涉及到两个地方. 1.重复则忽略.那么首先是需要判断是否重复,这里是通过唯一索引判断是否重复的.如果表中唯一索引的字段已经存在与将要插入的记录行中唯一 ...
Sql批量插入时如果遇到相同的数据怎么处理
测试数据 -- 创建测试表1 CREATE TABLE `testtable1` ( `Id` INT(11) UNSIGNED NOT NULL AUTO_INCREMENT, `UserId` I ...
mysql基础----mybatis的批量插入(一)
这里面记录一下使用mybatis处理mysql的批量插入的问题,测试有可能不准.只愿世间风景千般万般熙攘过后,字里行间,人我两忘,相对无言. mybatis的批量插入我们的测试主体类是springb ...
JDBC：批量插入数据操作
批量插入操作举例: 向数据表中插入20000条数据数据库中提供一个goods表.创建如下: CREATE TABLE goods( id INT PRIMARY KEY AUTO_INCREMEN ...
用python操作mysql数据库（之批量插入数据）
#!/usr/bin/env python # -*- coding: utf-8 -*- import MySQLdb #建立连接 conn = MySQLdb.connect(host='127. ...
MySQL 通过子查询批量插入数据
1 需求需要将 a 表的数据插入 b 表,其中 a 表的数据很多是冗余的,是原始的多级分类数据,b 表相当于是对 a 表的简化,去掉冗余的数据,两表的 pdm 如下图: 2 方法将 a 表的各级编 ...
JDBC进行批量插入数据操作
目录 1.方式一:使用PreparedStatement 2.方式二:使用addBatch(),excuteBatch(),clearBatch() 3.方式三:设置不允许自动提交数据 4.总结 1. ...

mysql使用jdbc进行批量插入时把事务设为手动提交比事务自动提交速度快了10倍

mysql使用jdbc进行批量插入时把事务设为手动提交比事务自动提交速度快了10倍相关推荐

最新文章

热门文章