mybatis批量更新及其效率问题
mybatis批量更新及其效率问题
- 一:背景
- 注意:
- 第一种:
- 第二种:
- 二:批量更新的方式总结:
- 第一种:
- 第二种:
- 三:总结:
最近,负责公司一些旧数据的批量整理和清洗工作,在网上寻找了两种mybatis批量更新的方法。现在在这里总结下和说明下遇到的问题。
一:背景
公司旧数据的清洗,比如图片路径的改变,日期格式的改变(日期格式是varchar),因为数据大体上有一定的规律可寻,所以我的解决思路是用mybatis操作数据库,把需要清洗的数据查询出来并按一定规律进行清洗,在批量更新进数据库中。在这里尝试了两种方式的批量更新。
注意:
public void updateData(List<Map<String, Object>> map);
1.这条批量更新的传入参数是一个List<Map<String, Object>> map。
url: jdbc:mysql://localhost:3306/task?useUnicode=true&characterEncoding=utf8&serverTimezone=UTC&allowMultiQueries=true
2.jdbc与mysql的连接的url中要添加allowMultiQueries=true参数。本人因为刚开始没有加这个参数,导致一直报错。
### Error updating database. Cause: com.mysql.cj.jdbc.exceptions.PacketTooBigException: Packet for query is too large (12,981,868 > 4,194,304)
这是因为mysql数据库限制了处理文件的大小,默认是4MB,修改即可。
修改方法:
第一种:
在mysql的配置文件my.ini中添加 max_allowed_packet =67108864
,我这里设置的是64MB,各位可以按照需要自行设置,这种方法是修改配置文件,所以就算数据库重启也会生效。
第二种:
set global max_allowed_packet = 64*1024*1024;
执行此sql语句可以把文件处理的最大值设置为64MB,需要多少自行决定,这种方式修改,数据库重启之后会重置为默认值。
show VARIABLES like '%max_allowed_packet%';
这个sql语句是查询文件处理的最大值是多少。
二:批量更新的方式总结:
第一种:
<update id="updata1"><foreach collection="list" item="item" separator=";">update refund_assistant_stqd set images=#{item.images} where id=#{item.id}</foreach></update>
这种方法会生成这样的语句:
update refund_assistant_stqd set images=#{item.images} where id=#{item.id};
update refund_assistant_stqd set images=#{item.images} where id=#{item.id};
......
这样与在java代码里面循环做一个循环没有啥本质上区别,根本就不是批量操作。也使用过了。效率极其之低,并且对数据库的负载相当之大,运行期间磁盘IO达到了百分之百,这种方法是不可取的,望后面的人能警醒。
第二种:
<update id="updateData">update refund_assistant_stqd<trim prefix="set" suffixOverrides=","><trim prefix="images =case" suffix="end,"><foreach collection="list" item="item" index="index">when id=#{item.id} then #{item.images}</foreach></trim></trim>where id in<foreach collection="list" index="index" item="item" separator="," open="(" close=")">#{item.id}</foreach></update>
这种方法会生成这样的语句:
update refund_assistant_stqd set
images= (case when id=##{item.id} then #{item.images}),
images= (case when id=##{item.id} then #{item.images}),
.....
where id in (#{item.id},#{item.id},...)
这种方法采用了case when 机制,使得相应的id与images能相匹配,只生成了一条sql语句,所以对数据库的压力会大大的缩小,时间都会花费在sql字符串的拼接上,并且sql的拼接是在你的电脑上完成的,不会对远程数据库的服务器产生不必要的负载。效率提高了很多。本人更新了12万条数据用了367秒,上面的第一种方法运行了20分钟之后我就放弃了,所以并没有测试出时间。
三:总结:
解决完以上背景里面的注意事项之后,本人的任务就执行完成了。
在这里要说一下,mybatis的批量操作原理就是使用sql 字符串的拼接技术,了解其原理之后对mybatis的批量操作处理有了一个大概轮廓了,不再神秘,所以,我们学习技术不仅仅要知其然,更要知其所以然。
这是小编正式写博客的第一篇,小编刚毕业工作半年,以后会在博客上总结一些工作上的细节,和技术学习上的总结。希望多多支持,多多交流。一起进步。
mybatis批量更新及其效率问题相关推荐
- mybatis批量更新数据三种方法效率对比
探讨批量更新数据三种写法的效率问题. 实现方式有三种, 1> 用for循环通过循环传过来的参数集合,循环出N条sql,需要在db链接url后面带一个参数 &allowMultiQuer ...
- Mybatis批量更新转
Mybatis批量更新 批量操作就不进行赘述了.减少服务器与数据库之间的交互.网上有很多关于批量插入还有批量删除的帖子.但是批量更新却没有详细的解决方案. 实现目标 这里主要讲的是1张table中.根 ...
- java mybatis 批量更新数据_Mybatis批量更新详解
转:http://www.cnblogs.com/winkey4986/p/3915151.html Mybatis批量更新 批量操作就不进行赘述了.减少服务器与数据库之间的交互.网上有很多关于批量插 ...
- mybatis批量更新数据三种方法
具体的可以参考下面链接: mybatis批量更新数据三种方法效率对比_PreciousLife的博客-CSDN博客_mybatis 批量更新 此处说明下,若是使用for循环遍历方式,来生成 ...
- Mybatis批量更新数据
Mybatis批量更新数据 第一种方式 [html] view plaincopy print? <update id="updateBatch" parameterType ...
- mybatis批量更新 mysql 报错,Mybatis批量更新报错问题
下面给大家介绍mybatis批量更新报错问题, allowMultiQueries=true 后来发现是jdbc链接没有加允许批量更新操作的参数引起的,不加会报badsql,mysql版的mybati ...
- Mybatis批量更新出错问题
Mybatis批量更新出错问题 我们经常会遇到这样的需求,那就是利用Mybatis批量更新或者批量插入,但是,实际上即使Mybatis完美支持你的sql,你也得看看你说操作的数据库是否支持,而阿三,最 ...
- Mybatis批量更新报错
Mybatis批量更新报错 1. 问题描述 2. 问题分析 3. 解决方案 1. 问题描述 使用批量更新,一直报语法错误,多次检查Mapper文件发现语法没啥问题,就是每次执行都是语法错误,花了好一会 ...
- mybatis批量新增和批量更新的效率对比
今天,为了更多了解下,mybatis批量新增和批量更新在simple/batch模式 + MySQL的rewriteBatchedStatements下效率有什么区别,做了一次实验. 实验结果,让人意 ...
最新文章
- nmt模型源文本词项序列_「自然语言处理(NLP)」阿里团队--文本匹配模型(含源码)...
- Vuebnb:一个用vue.js和Laravel构建的全栈应用
- smarty模板截取字符串乱码问题完美解决```````
- 各层作用_土工布有什么作用呢?
- Rtx 实时通知实现
- 丢失api-ms-win-crt-runtime-l1-1-0.dll问题解决
- 三流面试问技术,二流面试问平台,一流面试……
- easyexcel 日期类型 convert_[Oracle 专题] SQL 日期、数字、字符串,运算、转换
- Spring框架XML配置文件使用外部Bean属性注入
- 在linux里flash自动转图片
- 关于今日头条小程序(字节跳动小程序)相关问题
- 《JavaScript高级程序设计(第3版)》阅读总结记录第一章之JavaScript简介
- C# 使用 Topshelf 创建Windows服务
- nodejs 密码加盐
- 5二代配什么主板最好_新教育5:父母什么时间陪伴孩子最好
- 【数字图像处理系列四】图像数据集增强方式总结和实现
- 《秘密》读后感之秘密的揭露和法则
- mac如何查看wifi密码
- [上海博物馆全集列表]
- SPI DMA发送接收数据
热门文章
- 《天天数学》连载47:二月十六日
- 2019 ACM/ICPC 南昌站 G,拉格朗日插值
- 【codevs1851】越狱,快速幂数学
- js html5是什么意思,javascript是什么意思
- bzoj3572 [HNOI2014]世界树 虚树 +乱dp
- 2017.10.22 方格染色 失败总结
- 2017.10.14 【FOTILE模拟赛】L 失败总结
- 2017.9.11 海拔 思考记录
- 华为可以升级鸿蒙的机型,首批升级鸿蒙机型提前泄露,华为这保密措施需要加强...
- 【英语学习】【WOTD】remittance 释义/词源/示例