MySQL一次查几万条数据,【mysql】一次插入几万条数据应该怎么做优化

刚刚去面试，面试官提问了我一次插入几万条数据有什么优化方法，一次更新几万条数据有什么优化方法，这些我之前都没有用过，希望大家给我解一下惑。

回答

1、insert批量执行，禁止单条insert value(注意单条sql长度限制，可临时调整max_allowed_packet)

2、开启事务处理，批量提交。原理类似上1(条件允许可适当增大innodb_log_buffer_size，增加单事务提交日志量，该参数read only)

3、主键顺序插入，效率更高

4、业务允许，暂时disable keys

对要插入的数据进行分组批量插入

INSERT INTO table (column1, column2, …, column_n) VALUES (value11, value12, …, value1n), (value21, value22, … value2n), …, (value_n1, value_n2, … value_nn)

可以参考这个：http://www.yiichina.com/tutor…

INSERT INTO table (column1, column2, ..., column_n) VALUES (value11, value12, ..., value1n), (value21, value22, ... value2n), ..., (value_n1, value_n2, ... value_nn)

MySQL好像对参数个数没啥限制，所以一次插入近千条是没问题的，上万条数据也就没几句INSERT了。

UPDATE的话，如果一个WHERE就命中几万行，每行UPDATE规则都一样的话，而且不涉及到太多索引，应该是比较快的。

如果涉及到太多索引了，那就先批量DELETE，再批量INSERT.

如果不是在线实时运行插入程序的话，可以先去掉索引，停掉记录二进制日志文件，然后执行批量插入任务，插入时可以以一定数量的数据组织成一条insert语句，就想楼上写的那样，然后在循环技术中执行插入。更新的话逻辑也差不多

使用INSERT INTO table (column1, column2, …, column_n) VALUES (value11, value12, …, value1n), (value21, value22, … value2n), …, (value_n1, value_n2, … value_nn)

进行分批次插入；假入有10000条数据等待插入,分成100次插入(即一次insert100条)；

一次执行结束后sleep一段时间后再次进行插入

MySQL一次查几万条数据,【mysql】一次插入几万条数据应该怎么做优化相关推荐

mysql单表狂 insert极限：已实现每秒插入2.5w条数据
很多同学都有这样的困扰: 工作中项目的数据量不大,遇不到sql优化的场景:单表就几万,我优化个der啊: 业务对性能要求不高,远远没达到性能瓶颈:咱这项目又不是不能跑,优化个der啊: 确实,如果你的 ...
linux c mysql 增删改查_Linux C语言连接MySQL 增删改查操作
Linux下想要测试mysql和memcached的性能,因为是服务器只能通过终端连接,所以考虑用C语言写测试代码.于是研究了把C怎么连接MySQL以及增删改查的代码.安装mysql-client或者 ...
图表点编辑数据无反应_word插入图表无法编辑数据
Word2007文档中的图表功能相对于Word2003的图表工具Microsoft Graph而言,应用更灵活,功能更强大.要想充分发挥图表功能,用户应当在Word2007文档中创建图表,而不是在Wo ...
实现对mysql增删改查_Java语言实现对MySql数据库中数据的增删改查操作的代码
简单说操作的步骤: 1.连接数据库 2.将SQL语句发送到数据库 3.执行SQL语句这里举个例子: 在一个数据库中有个students表,表中有学号(Id),姓名(Name),性别(Sex),地址( ...
jdbc mysql增删改查_使用JDBC连接MySQL数据库操作增删改查
更多精彩内容欢迎访问我的个人博客皮皮家园:http://www.zhsh666.xyz或者http
excel数据透视表中插入一列新数据
鼠标选中数据透视表中任意一个单元格,点击分析 - 字段.项目,再选中"计算字段 " 在弹出的窗口中,名称可定义为自己需要的在窗口的公式输入栏中插入计算公式 ,插入方式为:在字 ...
一分钟内向数据库中批量插入100万数据
罗列一下三种插入方式: 1.动态SQL拼接批量插入一万条数据:4.7s @Testpublic void dynamicSql() {List<NotifyRecordEntity> n ...
如何快速插入大量/批量随机数据到数据库（oracle/sqlserver/mysql/postgresql）
在日常的数据库开发和测试中,需要创建一些测试的表,并构造一下假的数据.这时就需要向表中插入随机数据,特别是插入大量随机数据以获取更好的验证.笔者在开发和应用中,也遇到了很多类似的问题,对于不同的数据库 ...
单机版MongoDB插入了亿万条数据之后...
最近因为公司的一个业务迁移,需要对单机MongoDB做一个简单的测试,在写入了亿万条数据之后,数据库的性能还是受到了一些影响的,这里简单记录下. 因为是非关键业务,且通过统计得出每秒的写入请求数大约是 ...
mysql count 条件_我以为我对MySql很了解，直到我面试了字节跳动
小湿来到字节跳动,在静待,此时一位长发飘飘的面试官走来.小湿心里想:哎啊,今天遇到个美女面试官,好好表现面试官:小湿,我看你简历上写了熟练掌握MySql和MySql的调优是吧? 小湿:是的,面试官. ...

MySQL一次查几万条数据,【mysql】一次插入几万条数据应该怎么做优化

MySQL一次查几万条数据,【mysql】一次插入几万条数据应该怎么做优化相关推荐

最新文章

热门文章