mysql批量提交的优化

背景

用户修改布局时，需要批量更新mysql的xxxx_layout_xxxx表。批量操作的数据量是2-30条/次。批量操作是这次项目在技术上比较关键的一个点，之前批量操作做过性能上的测试，mysql端问题不大，7000+tps，Java端的效率有些差，有优化空间。

对批量的性能进行了测试，优化。过程如下。

经测试，批量更新30条记录的时间是35ms。由于数据在mysql服务端中会有内存缓存，批量更新30条的时间用了35ms，感觉有些长，试图找出原因。

使用截包工具（这里用的ethereal），抓取mysql的数据包，下面是一次批量更新的数据包:

可以看出，批量更新时，每条update语句都去mysql请求了一次。并没有打包发给mysql。这种批量的效率肯定不会高。同样方法试了下oracle数据库，oracle驱动做的就很好，一次批量是打包在同一个请求中，是真正的批量提交，效率自然比mysql高。

找了些资料，发现mysql默认情况确实是不支持batch。为了解决上面的问题，需要给JDBC连接加上参数rewriteBatchedStatements=true，并且jdbc driver需要升级到5.1.8以上才支持这个参数。

增加参数rewriteBatchedStatements=true，driver版本升到5.1.17后，再次测试，批量更新30条的时间从35ms降到了11ms。截包后，可以看出底层的机制，已经变成批量提交：

查看包的内容可以发现，这条请求里，封装了30条update语句

横坐标：一次批量更新的条数。纵坐标：更新100次所用时间（ms）

可见，当批量条数增加时，rewriteBatchedStatements=true的性能有很大优势。即使数量少时，也还是有一定优势。

结论：

使用rewriteBatchedStatements=true参数，对批量操作，性能有较大提高，从官方解释上看，对普通操作没有影响。从网上资料和自己的测试上看，暂时没有发现rewriteBatchedStatements=true参数Driver版本5.1.17的问题。因此，本项目中计划采取下面优化措施：

JDBC Driver版本从5.0.4升级到5.1.17。
连接属性中加入rewriteBatchedStatements=true参数

附：

测试环境：

mysql JDBC 3.0.4/3.1.17。

客户端: 普通PC机。

连接池数: 1-10。

10线程并发，批量更新30条记录（索引有效），循环更新100次。

批量更新主要代码：

mmpSqlMapClient.startTransaction(); // 使用事务

mmpSqlMapClient.startBatch(); // 批量提交

for (ChannelLayoutDO channelLayout: userChannelLayoutList) { mmpSqlMapClient.update(“UserChannelLayoutDAO.updateSort”, channelLayout);

}

mmpSqlMapClient.executeBatch();

mmpSqlMapClient.commitTransaction();

mysql批量提交的优化相关推荐

mysql数据没有真正提交,转MySQL 批量提交优化
用户修改布局时,需要批量更新mysql的xxxx_layout_xxxx表.批量操作的数据量是2-30条/次.批量操作是这次项目在技术上比较关键的一个点,之前批量操作做过性能上的测试,mysql端问题 ...
mysql批量插入性能优化:executeBatch如何通过rewriteBatchedStatements参数逆袭
文章目录前言一.实战演示 1.单元测试 2.不添加rewriteBatchedStatements参数 3.添加rewriteBatchedStatements参数 4.采用InsertBatch ...
c mysql批量插入优化_MySQL实现批量插入以优化性能的教程
这篇文章主要介绍了MySQL实现批量插入以优化性能的教程,文中给出了运行时间来表示性能优化后的对比,需要的朋友可以参考下对于一些数据量较大的系统,数据库面临的问题除了查询效率低下,还有就是数据入库时 ...
mysql 优化配置大批量数据插入_MYSQL开发性能研究——批量插入的优化措施
一.我们遇到了什么问题在标准SQL里面,我们通常会写下如下的SQL insert语句. INSERT INTO TBL_TEST (id) VALUES(1); 很显然,在MYSQL中,这样的方式也 ...
mysql如何优化性能优化_如何优化性能？MySQL实现批量插入以优化性能的实例详解...
这篇文章主要介绍了MySQL实现批量插入以优化性能的教程,文中给出了运行时间来表示性能优化后的对比,需要的朋友可以参考下对于一些数据量较大的系统,数据库面临的问题除了查询效率低下,还有就是数据入库时 ...
Mysql批量插入数据问题解决和优化
Mysql批量插入数据问题解决和优化一.问题描述项目中mysql批量插入大概50000左右数据,使用事务和批量,但是速度依旧很慢,大约60s左右,迫切希望改进这个问题. 二.问题原因尽管是批量a ...
mysql+提升更新语句效率_MySQL加快批量更新 UPDATE优化
如果是更新为同样的内容,没啥难度,直接在where里面下功夫就好了,大家都懂,我要说的是针对更新内容不一样的情况首先,先看看网上转载的方法: mysql 批量更新如果一条条去更新效率是相当的慢, 循 ...
Mysql批量插入更新性能优化
Mysql批量插入更新性能优化对于数据量较大的插入和更新,因io/cpu等性能瓶颈,会产生大量的时间消耗,目前主流的优化主要包括预编译.单条sql插入多条数据.事务插入等,下面详细介绍一下: 单条插 ...
MYSQL批量插入数据库实现语句性能分析
MYSQL批量插入数据库实现语句性能分析假定我们的表结构如下代码如下 CREATE TABLE example ( example_id INT NOT NULL, name VARCHAR( ...

mysql批量提交的优化

mysql批量提交的优化相关推荐

最新文章

热门文章