mybatis-plus大批量数据插入缓慢问题

文章目录

问题
排查
结果
建议

问题

最近项目用的mybatis-plus做的映射，有个批处理文件内容的需求，在使用mybatis-plus的批处理方法saveBatch时发现速度特别慢，测试从1000到10000到80000条基本上是线性增加，80000条时差不多要90秒。

排查

经debug排查sql语句是批量执行，所以应该不是框架本身的问题，由于用的是公司的手脚架，在mysql连接配置中发现了问题

这里少配置了一个参数rewriteBatchedStatements=true

结果

修改前24w数据大概在254709 ms
修改后24w数据大概在42506 ms
单次批量插入10000条大概在1700ms

建议

由于我这边没有特殊的性能要求，没有做更多的性能测试，如果对性能有要求的小伙伴可以利用其他手段再进行测试

mybatis-plus大批量数据插入缓慢问题相关推荐

java，如何处理大批量数据插入
由于做公司业务,由于数据量太大,一条条插入数据非常缓慢.(记得是插入60w单表数据,就要半个多小时,处理完后只需要几秒了) 后来,自己操作的是通过拼接sql语句,比如 insert into pers ...
MyBatis Plus 批量数据插入功能，yyds！
作者 | 王磊来源 | Java中文社群(ID:javacn666) 转载请联系授权(微信ID:GG_Stone 最近 Review 小伙伴代码的时候,发现了一个小小的问题,小伙伴竟然在 for 循 ...
mysql大批量数据插入技巧
转自:https://jingyan.baidu.com/album/95c9d20d61b01dec4f75615a.html?picindex=6 首先我是简单的写了一个mysql的循环插入数据的 ...
mysql 优化配置大批量数据插入_php导入大量数据到mysql性能优化技巧
本文实例讲述了php导入大量数据到mysql性能优化技巧.分享给大家供大家参考.具体分析如下: 在mysql中我们结合php把一些文件导入到mysql中,这里就来分享一下我对15000条记录进行导入时 ...
mysql 优化配置大批量数据插入_MYSQL开发性能研究——批量插入的优化措施
一.我们遇到了什么问题在标准SQL里面,我们通常会写下如下的SQL insert语句. INSERT INTO TBL_TEST (id) VALUES(1); 很显然,在MYSQL中,这样的方式也 ...
MySQL大批量数据插入
公司有一个项目,需要频繁的插入数据到MySQL数据库中,设计目标要求能支持平均每秒插入1000条数据以上.目前功能已经实现,不过一做压力测试,发现数据库成为瓶颈,每秒仅能插入100多条数据,远远达不到 ...
mysql 优化配置大批量数据插入_[译] MySQL 最佳实践 —— 高效插入数据
当你需要在 MySQL 数据库中批量插入数百万条数据时,你就会意识到,逐条发送 INSERT 语句并不是一个可行的方法. MySQL 文档中有些值得一读的 INSERT 优化技巧. 在这篇文章里,我将 ...
使用存储过程实现千万级的大批量数据插入
t_user表创建存储过程 insert_user(IN c int(10)): CREATE PROCEDURE insert_user(IN c int(10)) BEGINDECLARE i ...
使用mybatis向oracle数据库插入数据异常
遇到了使用mybatis向oracle数据库插入数据异常的问题, 具体的报错如下:org.springframework.jdbc.UncategorizedSQLException: ### Err ...

mybatis-plus大批量数据插入缓慢问题

文章目录

问题

排查

结果

建议

mybatis-plus大批量数据插入缓慢问题相关推荐

最新文章

热门文章