mysql日常工作中批量插入效率问题
个人总结:
循环单条数据插入基本上不会用,日常工作中更多的是十几条、几百条数据量的批量插入问题。
就场景来看,在后台批量将前台选中的多条数据批量插入这种情况比较多,一般直接在mybatis中通过foreach拼成sql后插入。
或者是Excel表格的批量导入导出,基本上也是用mybatis就能解决,如果是控制在1000条以下直接拼sql影响不大,如果sql过长需要在mysql配置文件中设置最大sql容量,很少有几万条Excel数据批量导入。
另外平时也经常遇到分批导入问题,如浏览记录,GPS信息,实时传感器数据等热点数据,为了以后的数据分析和历史记录查看最好也采用分批次批量插入,一般情况下几千条数据足以,如果图省事也是可以通过拼接sql解决的。
数据转移情况下数据量可以是几万、几十万、百万级,为了加快效率,可以采用mysql自带的功能解决。
mysql有专门用于批量导入大数据功能需要手动开启,几万条数据通过jdbc的批量插入功能解决,比较方便易懂,百万级一般是数据转移情况,通过mysql读取文件方式导入。
A:https://blog.csdn.net/qq_36850813/article/details/95945237
B:https://blog.csdn.net/wzygis/article/details/83688720
总之在一般公司工作时大部分情况都不会破十万,有各种方法应对数据插入(分批,异步),不过相对插入的效率,考虑数据安全性和解决冲突也是需要注意的问题。
mysql日常工作中批量插入效率问题相关推荐
- mybatis-plus 批量插入效率低的问题【重写sql注入 SqlInjector】
背景 由于项目中需要大批量将数据插入数据库,直接使用mybatis-plus中的批量插入方法,结果发现效率奇低无比,线上批量插入一千条数据居然花销八九秒的时间.而我们的目标是想要单次插入一万条数据,这 ...
- c++读取utf8文件_经常在日常工作中处理统一码文件(or其他编码)?这篇必读
全文共2717字,预计学习时长5分钟 对于那些经常在日常工作中处理统一码文件(也适用于其他编码)的人来说,这篇文章是必读的.对于自然语言处理的从业者,处理统一码文件是一场噩梦,尤其是使用Windows ...
- 向Excel中批量插入图片,自动排版
一.安装软件 向Excel中批量插入图片,需要用到一个工具"E灵",您只需百度搜索"罗刚君E灵" 5个字即可找到下载地址,也可以在以下网站找到: http:// ...
- 办公室计算机知识论文,办公室日常工作中办公自动化的运用-计算机应用技术论文-计算机论文.docx...
办公室日常工作中办公自动化的运用-计算机应用技术论文-计算机论文 --文章均为WORD文档,下载后可直接编辑使用亦可打印-- 摘 要: 办公室管理是企业发展的重要组成部分, 传统办公室管理需使用大量的 ...
- SQL语句中批量插入
SQL语句中批量插入 1.介绍说明 在程序中需要同时插入多条数据的写法,其中mysql和oracle两种写法存在一些差异. oracle数据库 insert into <tableName& ...
- 日常工作中的几个excel小技巧
大家好!我是xyz,又和大家见面了!今天分享几个日常工作中经常使用的小技巧,希望对大家能有所帮助. Ctrl+\的用法 对两列或是多列数据进行核对,方法有很多,今天介绍的是一组快捷键,只需要1秒钟就搞 ...
- 日常工作中,软件测试人员如何避免“背锅”
作为一名软件测试工程师,日常工作中最常打交道的肯定就是开发和产品经理.有沟通就会问题,有问题难免会有争执.那么你肯定听过这些话: "这么弱智的bug你都测不出来吗?" " ...
- 业务团队如何在日常工作中做稳定性?涵盖事前、事中、事后的方方面面
你好呀,我是Bella酱- "又不是不能用,能用就行.""又不是不能跑,能跑就行.程序和人有一个能跑就行." 相信很多同学都听过这2句话.乍听没毛病.编程3部曲 ...
- 大华视频服务器系统日志怎么看,日常工作中查看工控机Windows日志的方法
原标题:日常工作中查看工控机Windows日志的方法 工控机Windows日志位于工控机管理的事件查看器中,主要是用于存储来自应用程序以及整个系统的文件.一般可以分为应用程序日志.安全日志.系统日志这 ...
- RIP 此篇用来记录日常工作中使用到的正则表达式
在工作中偶尔会使用到正则表达式, 每次用到之后都是上网找, 太浪费时间了, 所以此贴专门用于收录日常工作中使用到的正则表达式 ( 不要问我为什么不自己学学正则表达式, 因为: lan ) 用心 ...
最新文章
- linux下解压缩文件中文乱码问题的解决
- c语言调用视频播放软件,C语言播放视频
- 基于haproxy+keepalive+varnish实现lnmp企业级架构
- SQLiteOpenHelper类
- 长沙网络推广教你如何在网站优化中让URL标准化?
- word doc怎么显示base64图片_win10系统word文档打印不出图片怎么办
- Python 基础教程:位运算的奥妙
- CMake 构建项目Android NDK项目基础知识
- 任务计划中的结果代码
- Ubuntu18.04之国内常用源
- ASP.Net Web 点击链接直接下载 不在浏览器打开
- NYOJ456andNYOJ325
- 一个关于var函数计算方差 / 标准差的问题
- 软件测试员工作经验分享
- 实现自动化测试,首先不是一个技术问题
- Oracle AutoVue 运用场景及操作说明
- 【架构风格】架构风格演进和领域架构分类
- php生成二维码并与背景图片合成
- 习题 8-20 懒惰的苏珊(Lazy Susan, ACM/ICPC Danang 2007, UVa1620)
- 非全研究生计算机网络-k8s网络插件(CNI)性能分析
热门文章
- SLAM--线性化求解估计位姿
- 自动驾驶3-2 安全保证和测试的行业方法 Industry Methods for Safety Assurance and Testing
- AWS DeepRacer ROS 架构 模拟环境和真实赛道的区别
- 李沐亚马逊资深首席科学家 - 动手学深度学习v2 -2安装
- 算法突击训练营:开学第1课 听课总结
- 用python写WordCount的MapReduce代码
- Linux进程突然挂死,小玩意:如何让linux上挂死的进程重启?
- python文件的路径_python3 文件及文件夹路径相关
- 【机器学习系列】HMM第四讲:从状态空间模型再回看HMM模型
- mapreduce 的partitioner,GroupComparator,KeyComparator,分布式缓存使用示例