个人总结:

循环单条数据插入基本上不会用,日常工作中更多的是十几条、几百条数据量的批量插入问题。

就场景来看,在后台批量将前台选中的多条数据批量插入这种情况比较多,一般直接在mybatis中通过foreach拼成sql后插入。

或者是Excel表格的批量导入导出,基本上也是用mybatis就能解决,如果是控制在1000条以下直接拼sql影响不大,如果sql过长需要在mysql配置文件中设置最大sql容量,很少有几万条Excel数据批量导入。

另外平时也经常遇到分批导入问题,如浏览记录,GPS信息,实时传感器数据等热点数据,为了以后的数据分析和历史记录查看最好也采用分批次批量插入,一般情况下几千条数据足以,如果图省事也是可以通过拼接sql解决的。

数据转移情况下数据量可以是几万、几十万、百万级,为了加快效率,可以采用mysql自带的功能解决。

mysql有专门用于批量导入大数据功能需要手动开启,几万条数据通过jdbc的批量插入功能解决,比较方便易懂,百万级一般是数据转移情况,通过mysql读取文件方式导入。

A:https://blog.csdn.net/qq_36850813/article/details/95945237

B:https://blog.csdn.net/wzygis/article/details/83688720

总之在一般公司工作时大部分情况都不会破十万,有各种方法应对数据插入(分批,异步),不过相对插入的效率,考虑数据安全性和解决冲突也是需要注意的问题。

mysql日常工作中批量插入效率问题相关推荐

  1. mybatis-plus 批量插入效率低的问题【重写sql注入 SqlInjector】

    背景 由于项目中需要大批量将数据插入数据库,直接使用mybatis-plus中的批量插入方法,结果发现效率奇低无比,线上批量插入一千条数据居然花销八九秒的时间.而我们的目标是想要单次插入一万条数据,这 ...

  2. c++读取utf8文件_经常在日常工作中处理统一码文件(or其他编码)?这篇必读

    全文共2717字,预计学习时长5分钟 对于那些经常在日常工作中处理统一码文件(也适用于其他编码)的人来说,这篇文章是必读的.对于自然语言处理的从业者,处理统一码文件是一场噩梦,尤其是使用Windows ...

  3. 向Excel中批量插入图片,自动排版

    一.安装软件 向Excel中批量插入图片,需要用到一个工具"E灵",您只需百度搜索"罗刚君E灵" 5个字即可找到下载地址,也可以在以下网站找到: http:// ...

  4. 办公室计算机知识论文,办公室日常工作中办公自动化的运用-计算机应用技术论文-计算机论文.docx...

    办公室日常工作中办公自动化的运用-计算机应用技术论文-计算机论文 --文章均为WORD文档,下载后可直接编辑使用亦可打印-- 摘 要: 办公室管理是企业发展的重要组成部分, 传统办公室管理需使用大量的 ...

  5. SQL语句中批量插入

    SQL语句中批量插入 1.介绍说明 ​ 在程序中需要同时插入多条数据的写法,其中mysql和oracle两种写法存在一些差异. oracle数据库 insert into <tableName& ...

  6. 日常工作中的几个excel小技巧

    大家好!我是xyz,又和大家见面了!今天分享几个日常工作中经常使用的小技巧,希望对大家能有所帮助. Ctrl+\的用法 对两列或是多列数据进行核对,方法有很多,今天介绍的是一组快捷键,只需要1秒钟就搞 ...

  7. 日常工作中,软件测试人员如何避免“背锅”

    作为一名软件测试工程师,日常工作中最常打交道的肯定就是开发和产品经理.有沟通就会问题,有问题难免会有争执.那么你肯定听过这些话: "这么弱智的bug你都测不出来吗?" " ...

  8. 业务团队如何在日常工作中做稳定性?涵盖事前、事中、事后的方方面面

    你好呀,我是Bella酱- "又不是不能用,能用就行.""又不是不能跑,能跑就行.程序和人有一个能跑就行." 相信很多同学都听过这2句话.乍听没毛病.编程3部曲 ...

  9. 大华视频服务器系统日志怎么看,日常工作中查看工控机Windows日志的方法

    原标题:日常工作中查看工控机Windows日志的方法 工控机Windows日志位于工控机管理的事件查看器中,主要是用于存储来自应用程序以及整个系统的文件.一般可以分为应用程序日志.安全日志.系统日志这 ...

  10. RIP 此篇用来记录日常工作中使用到的正则表达式

    在工作中偶尔会使用到正则表达式,  每次用到之后都是上网找,  太浪费时间了, 所以此贴专门用于收录日常工作中使用到的正则表达式 ( 不要问我为什么不自己学学正则表达式,   因为: lan ) 用心 ...

最新文章

  1. linux下解压缩文件中文乱码问题的解决
  2. c语言调用视频播放软件,C语言播放视频
  3. 基于haproxy+keepalive+varnish实现lnmp企业级架构
  4. SQLiteOpenHelper类
  5. 长沙网络推广教你如何在网站优化中让URL标准化?
  6. word doc怎么显示base64图片_win10系统word文档打印不出图片怎么办
  7. Python 基础教程:位运算的奥妙
  8. CMake 构建项目Android NDK项目基础知识
  9. 任务计划中的结果代码
  10. Ubuntu18.04之国内常用源
  11. ASP.Net Web 点击链接直接下载 不在浏览器打开
  12. NYOJ456andNYOJ325
  13. 一个关于var函数计算方差 / 标准差的问题
  14. 软件测试员工作经验分享
  15. 实现自动化测试,首先不是一个技术问题
  16. Oracle AutoVue 运用场景及操作说明
  17. 【架构风格】架构风格演进和领域架构分类
  18. php生成二维码并与背景图片合成
  19. 习题 8-20 懒惰的苏珊(Lazy Susan, ACM/ICPC Danang 2007, UVa1620)
  20. 非全研究生计算机网络-k8s网络插件(CNI)性能分析

热门文章

  1. SLAM--线性化求解估计位姿
  2. 自动驾驶3-2 安全保证和测试的行业方法 Industry Methods for Safety Assurance and Testing
  3. AWS DeepRacer ROS 架构 模拟环境和真实赛道的区别
  4. 李沐亚马逊资深首席科学家 - 动手学深度学习v2 -2安装
  5. 算法突击训练营:开学第1课 听课总结
  6. 用python写WordCount的MapReduce代码
  7. Linux进程突然挂死,小玩意:如何让linux上挂死的进程重启?
  8. python文件的路径_python3 文件及文件夹路径相关
  9. 【机器学习系列】HMM第四讲:从状态空间模型再回看HMM模型
  10. mapreduce 的partitioner,GroupComparator,KeyComparator,分布式缓存使用示例