JDBC更新10W级以上数据性能优化

随笔缘由：

系统完成到一定程度，少不了要往数据库中添加大量数据进行性能测试。我用程序做数据10W条，使用jdbc批更新的API，发现每次只能插入2W多条记录。一番小小研究，觉得总结一下可能有些意义。

总结内容如下：

1：这是我出现问题的代码，插入10W条数据，10W次数据进行一次批处理，发现只能插入24464多条数据，程序也没有报错。

Connection con = (Connection) DriverManager.getConnection(url,user,password);

con.setAutoCommit(false);

Long startTime = System.currentTimeMillis();

PreparedStatement pst = (PreparedStatement) con.prepareStatement(sql.toString());

for (int i = 0; i < list.size(); i++) {

KIVResponseBean kivResponseBean=list.get(i);

pst.setString(1, kivResponseBean.getK());

pst.setString(2, kivResponseBean.getI());

pst.setInt(3, kivResponseBean.getV());

pst.setInt(4, kivResponseBean.getD());

pst.setString(5, kivResponseBean.getM());

pst.setString(6, kivResponseBean.getR());

pst.addBatch();

}

pst.executeBatch();

con.commit();

Long endTime = System.currentTimeMillis();

System.out.println("用时：" + (endTime - startTime));

2：在不使用批更新时，具体做法就是不添加这句代码 con.setAutoCommit(false); 并且每次为SQL指定参数后就执行 pst.executeUpdate(); 提交数据；结果10W条记录插入成功，但是使用了 35833ms的时间消耗。

Class.forName("oracle.jdbc.driver.OracleDriver");

Connection con = (Connection) DriverManager.getConnection(url,user,password);

Long startTime = System.currentTimeMillis();

PreparedStatement pst = (PreparedStatement) con.prepareStatement(sql.toString());

for (int i = 0; i < list.size(); i++) {

KIVResponseBean kivResponseBean=list.get(i);

pst.setString(1, kivResponseBean.getK());

pst.setString(2, kivResponseBean.getI());

pst.setInt(3, kivResponseBean.getV());

pst.setInt(4, kivResponseBean.getD());

pst.setString(5, kivResponseBean.getM());

pst.setString(6, kivResponseBean.getR());

pst.executeUpdate();

}

Long endTime = System.currentTimeMillis();

System.out.println("用时：" + (endTime - startTime));

3：使用批更新，并且制定没10000次提交一次更新，此时使用时间 2980 ms ，10w条数据也批量添加成功，oracle对每次执行的批更新有限制，我在11g的环境下测试在2W4K多，网上有朋友说在10g下每次提交1W多数据就会报错。

Class.forName("oracle.jdbc.driver.OracleDriver");

Connection con = (Connection) DriverManager.getConnection(url,user,password);

con.setAutoCommit(false);

Long startTime = System.currentTimeMillis();

PreparedStatement pst = (PreparedStatement) con.prepareStatement(sql.toString());

int batchCount=list.size()/batchSize+1;

for(int batch=0;batch<batchCount;batch++) {

for (int i = batch*batchSize; (i <(batch+1)*batchSize)&&(i<list.size()); i++) {

KIVResponseBean kivResponseBean=list.get(i);

pst.setString(1, kivResponseBean.getK());

pst.setString(2, kivResponseBean.getI());

pst.setInt(3, kivResponseBean.getV());

pst.setInt(4, kivResponseBean.getD());

pst.setString(5, kivResponseBean.getM());

pst.setString(6, kivResponseBean.getR());

pst.addBatch();

}

pst.executeBatch();

con.commit();

pst.clearBatch();

}

Long endTime = System.currentTimeMillis();

System.out.println("用时：" + (endTime - startTime));

随笔缘由：

总结内容如下：

1：这是我出现问题的代码，插入10W条数据，10W次数据进行一次批处理，发现只能插入24464多条数据，程序也没有报错。

Connection con = (Connection) DriverManager.getConnection(url,user,password);

con.setAutoCommit(false);

Long startTime = System.currentTimeMillis();

PreparedStatement pst = (PreparedStatement) con.prepareStatement(sql.toString());

for (int i = 0; i < list.size(); i++) {

KIVResponseBean kivResponseBean=list.get(i);

pst.setString(1, kivResponseBean.getK());

pst.setString(2, kivResponseBean.getI());

pst.setInt(3, kivResponseBean.getV());

pst.setInt(4, kivResponseBean.getD());

pst.setString(5, kivResponseBean.getM());

pst.setString(6, kivResponseBean.getR());

pst.addBatch();

}

pst.executeBatch();

con.commit();

Long endTime = System.currentTimeMillis();

System.out.println("用时：" + (endTime - startTime));

Class.forName("oracle.jdbc.driver.OracleDriver");

Connection con = (Connection) DriverManager.getConnection(url,user,password);

Long startTime = System.currentTimeMillis();

PreparedStatement pst = (PreparedStatement) con.prepareStatement(sql.toString());

for (int i = 0; i < list.size(); i++) {

KIVResponseBean kivResponseBean=list.get(i);

pst.setString(1, kivResponseBean.getK());

pst.setString(2, kivResponseBean.getI());

pst.setInt(3, kivResponseBean.getV());

pst.setInt(4, kivResponseBean.getD());

pst.setString(5, kivResponseBean.getM());

pst.setString(6, kivResponseBean.getR());

pst.executeUpdate();

}

Long endTime = System.currentTimeMillis();

System.out.println("用时：" + (endTime - startTime));

Class.forName("oracle.jdbc.driver.OracleDriver");

Connection con = (Connection) DriverManager.getConnection(url,user,password);

con.setAutoCommit(false);

Long startTime = System.currentTimeMillis();

PreparedStatement pst = (PreparedStatement) con.prepareStatement(sql.toString());

int batchCount=list.size()/batchSize+1;

for(int batch=0;batch<batchCount;batch++) {

for (int i = batch*batchSize; (i <(batch+1)*batchSize)&&(i<list.size()); i++) {

KIVResponseBean kivResponseBean=list.get(i);

pst.setString(1, kivResponseBean.getK());

pst.setString(2, kivResponseBean.getI());

pst.setInt(3, kivResponseBean.getV());

pst.setInt(4, kivResponseBean.getD());

pst.setString(5, kivResponseBean.getM());

pst.setString(6, kivResponseBean.getR());

pst.addBatch();

}

pst.executeBatch();

con.commit();

pst.clearBatch();

}

Long endTime = System.currentTimeMillis();

System.out.println("用时：" + (endTime - startTime));

JDBC更新10W级以上数据性能优化相关推荐

关系型数据库大数据性能优化解决方案之：分表(当前表历史表)、表分区、数据清理原则
原因和目的由于交易量大或者日积月累造成数据库的数据量越来越大.会导致系统性能大幅下降,所以要对部分业务的表数据作备份和清理减少数据量,来提升请求响应的速度,提升用户体验数据是否需要清理的阀值判断 ...
Oracle数据性能优化
Oracle 应用系统的优化四个方面 1. 应用程序SQL语句优化; 2. ORACLE数据库参数调整; 3. 操作系统参数调整; 4. 网络性能调整. oracle应用系统的性能指标 1. 数据库吞 ...
【Elasticsearch】es 插入数据性能优化以及影响插入的因素
1.概述 2.性能优化 3. 性能降低 3.1 插入数据时对索引进行预排序 Index sorting (索引排序)可用于在插入时对索引进行预排序,而不是在查询时再对索引进行排序,这将提高范围查询(r ...
转载--批量更新数据(性能优化)
最近做的游戏,上线后出了不少问题,所以我就经常去查数据库数据,翻各种日志等,但是在查询的时候发现好蛋疼,有些地方的时间是写 "2016-08-11 20:13:02"这种格式,有些 ...
ElasticSearch 亿级数据检索深度性能优化
一.前言数据平台已迭代三个版本,从头开始遇到很多常见的难题,终于有片段时间整理一些已完善的文档,在此分享以供所需朋友的实现参考,少走些弯路,在此篇幅中偏重于ES的优化,关于HBase,Hadoop的 ...
Mysql 批量写入数据性能优化
2019独角兽企业重金招聘Python工程师标准>>> 测试环境配置直接影响执行速度,先上一下测试机配置: cpu i7 5500U(低电压伤不起,以后再也不买低电压的U了) 内存 ...
bulk Java提交数据,性能优化 – bulk提交 - ELK Stack 中文指南
在 CRUD 章节,我们已经知道 ES 的数据写入是如何操作的了.喜欢自己动手的读者可能已经迫不及待的自己写了程序开始往 ES 里写数据做测试.这时候大家会发现:程序的运行速度非常一般,即使 ES 服 ...
MySql千万级表性能优化
近期在处理一个千万级表数据的优化措施与总结(不考虑硬件方面): 1)数据库做主从,读写分离 2)表结构把不常用的字段列移入附加表 3)查询语句优化,避免全表扫描,. 4)按需合理增加索引 5)做分区 ...
iMobile中三维数据的性能优化
作者:xinxin 目前,很多项目都用SuperMap iMobile for Android产品来实现展示三维数据效果,但由于三维数据对硬件设备要求高,而移动端设备的硬件远不如PC端,所以想要在iM ...
分布式专题-数据库分库分表之Mycat01-数据库性能优化方案
目录导航前言为什么要分库分表数据库性能瓶颈主要原因数据性能优化方案 SQL 与索引表与存储引擎架构配置操作系统与硬件架构演进与分库分表单应用单数据库多应用单数据库多应用独立数据 ...

JDBC更新10W级以上数据性能优化

JDBC更新10W级以上数据性能优化相关推荐

最新文章

热门文章