MySQL的insert into select 引发锁表
上周五HaC我要上线,有一个脚本需要执行,执行前需要备份一个表。
运维大佬:“这个表的备份为什么要这么久,,??”
1秒过去了……2秒过去了……
期间运营反馈系统出现大量订单超时情况。
大佬找到我,问:“你怎么备份的?”
我:“
insert into select * from 呀
!”大佬:“??你是不是不想混了?”
又是被大佬嫌弃的一天,为了不卷铺盖走人,我决定去学习一下表备份的常见方法。
MySQL一般我们在生产上备份数据通常会用到 这两种方法:
INSERT INTO SELECT
CREATE TABLE AS SELECT
注:本文仅针对MySQL innodb引擎,事务是可重复读RR,数据库版本为5.5
1.INSERT INTO SELECT
insert into Table2(field1,field2,...) select value1,value2,... from Table1
注意
(1)要求目标表Table2必须存在,并且字段field,field2…也必须存在
(2)注意Table2的主键约束,如果Table2有主键而且不为空,则 field1, field2…中必须包括主键
在执行语句的时候,MySQL是逐行加锁的(扫描一个锁一个),直至锁住所有符合条件的数据,执行完毕才释放锁。所以当业务在进行的时候,切忌使用这种方法。
在RR隔离级别下,还会加行锁和间隙锁
举个栗子吧:
CREATE TABLE `t` (`id` int(11) NOT NULL AUTO_INCREMENT,`c` int(11) DEFAULT NULL,`d` int(11) DEFAULT NULL,PRIMARY KEY (`id`),UNIQUE KEY `c` (`c`)
) ENGINE=InnoDB;insert into t values(null, 1,1);
insert into t values(null, 2,2);
insert into t values(null, 3,3);
insert into t values(null, 4,4);create table t2 like t;
执行
begin;
insert into t2(c,d) select c,d from t;
先不commit;这个语句对表 t 主键索引加了 (-∞,1] 这个 next-key lock
新开一个Navicat窗口,模拟新事务进入,此时执行下面这句sql就需要等待
insert into t values(-1,-1,-1);
真就锁表了~无法写进去了,我终于知道为什么订单超时了。
背锅背锅。
如果实在要使用 INSERT INTO SELECT
这种方法,可以使用下面的方法进行优化:
加条件,强制走索引,不要全表扫描,例如
INSERT INTO Table2 SELECT*
FROMTable1 FORCE INDEX (create_time)
WHEREupdate_time <= '2020-03-08 00:00:00';
加上limit 100,100 这种,限制数量
2. CREATE TABLE AS SELECT
create table as select
会创建一个不存在的表,也可以用来复制一个表。
1. create table t3 as select * from t where 1=2;
-- 创建一个表结构与t一模一样的表,只复制结构不复制数据;2.create table t3 as select * from t ;
-- 创建一个表结构与t一模一样的表,复制结构同时也复制数据;(索引不会创建)3.create table t3(`id`,`a`) as select `id`,`c` from t;
-- 创建一个表结构与t一模一样的表,复制结构同时也复制数据,但是指定新表的列名;
后面两种格式,如果后面跟上合适的查询条件,可以只复制符合条件的数据到新的表中。比如:
create table table1 as select * from table2 where columns1>=1;
针对大表多字段的表复制,考虑是否每一个字段都是必需的,如果不是必需的,可以自定义选择字段吗,这样复制的时间会大大提升。
CREATE table table1 as SELECT id FROM table2; -- 只复制id这一列
注意此建表过程全程锁表。语句执行完毕,才释放元数据锁。
MDL全称为metadata lock,即元数据锁。MDL锁主要作用是维护表元数据的数据一致性,在表上有活动事务(显式或隐式)的时候,不可以对元数据进行写入操作。因此从MySQL5.5版本开始引入了MDL锁,来保护表的元数据信息,用于解决或者保证DDL操作与DML操作之间的一致性。
注意:
新表不会自动创建创建和原表相同的索引。(即复制表的索引会消失)
3 .区别
首先,最大的区别是二者属于不同类型的语句,
INSERT INTO SELECT
是DML语句(数据操作语言,SQL中处理数据等操作统称为数据操纵语言),完成后需要提交才能生效,CREATE TABLE AS SELECT
是DDL语句(数据定义语言,用于定义和管理 SQL 数据库中的所有对象的语言 ),执行完直接生效,不提供回滚,效率比较高。其次,功能不同,
INSERT INTO SELECT
只是插入数据,必须先建表;CREATE TABLE AS SELECT
则建表和插入数据一块完成。当有大量数据的时候不推荐使用Insert into as,因为该语句的插入的效率很慢。
4.总结
以上对复制表来说,都不是很好的选择,分享几种平时常用的方法:
导出成excel,然后拼sql 成 insert into values(),(),()的形式。
定时任务,任务的逻辑是查询100条记录,然后多个线程分到几个任务执行,比如是个线程,每个线程10条记录,插入后,在查询新的100条记录处理。
mysqldumb方法,例如
mysqldump -h<span class="katex-html" aria-hidden="true" style="font-size: inherit;color: inherit;line-height: inherit;margin: 1px;overflow-wrap: inherit !important;word-break: inherit !important;"><span class="strut" style="height:0.69444em;vertical-align:0em;" style="font-size: inherit;color: inherit;line-height: inherit;margin: 1px;overflow-wrap: inherit !important;word-break: inherit !important;"><span class="mord mathit" style="font-size: inherit;color: inherit;line-height: inherit;margin: 1px;overflow-wrap: inherit !important;word-break: inherit !important;">h<span class="mord mathit" style="font-size: inherit;color: inherit;line-height: inherit;margin: 1px;overflow-wrap: inherit !important;word-break: inherit !important;">o<span class="mord mathit" style="font-size: inherit;color: inherit;line-height: inherit;margin: 1px;overflow-wrap: inherit !important;word-break: inherit !important;">s<span class="mord mathit" style="font-size: inherit;color: inherit;line-height: inherit;margin: 1px;overflow-wrap: inherit !important;word-break: inherit !important;">t<span class="mord mathit" style="margin-right:0.05764em;" style="font-size: inherit;color: inherit;line-height: inherit;margin: 1px;overflow-wrap: inherit !important;word-break: inherit !important;">E<span class="mord mathit" style="margin-right:0.05764em;" style="font-size: inherit;color: inherit;line-height: inherit;margin: 1px;overflow-wrap: inherit !important;word-break: inherit !important;">E<span class="mord mathit" style="margin-right:0.13889em;" style="font-size: inherit;color: inherit;line-height: inherit;margin: 1px;overflow-wrap: inherit !important;word-break: inherit !important;">Pport -u$user --add-locks=0 --no-create-info --single-transaction --set-gtid-purged=OFF db1 t --where="a>900" --result-file=/client_tmp/t.sql </span class="mord mathit" style="margin-right:0.13889em;"></span class="mord mathit" style="margin-right:0.05764em;"></span class="mord mathit" style="margin-right:0.05764em;"></span class="mord mathit"></span class="mord mathit"></span class="mord mathit"></span class="mord mathit"></span class="strut" style="height:0.69444em;vertical-align:0em;"></span class="katex-html" aria-hidden="true">
导出 CSV 文件
select * from db1.t where a>900 into outfile '/server_tmp/t.csv';
第3、4两种方法适合整个表导出。
5. 业务少的情况(深夜什么的)下,可以使用 create table as select
。
知识又增加了。
原创电子书历时整整一年总结的 Java 面试 + Java 后端技术学习指南,这是本人这几年及校招的总结,各种高频面试题已经全部进行总结,按照章节复习即可,已经拿到了大厂offer。
原创思维导图扫码或者微信搜 程序员的技术圈子 回复 面试 领取原创电子书和思维导图。
MySQL的insert into select 引发锁表相关推荐
- delete 会不会锁表_MySQL的insert into select 引发锁表
上周五HaC我要上线,有一个脚本需要执行,执行前需要备份一个表. 运维大佬:"这个表的备份为什么要这么久,,??" 1秒过去了--2秒过去了-- 期间运营反馈系统出现大量订单超时情 ...
- 查询很慢会导致锁表吗_MySQL的insert into select 引发锁表
上周五HaC我要上线,有一个脚本需要执行,执行前需要备份一个表. 运维大佬:"这个表的备份为什么要这么久,,??" 1秒过去了--2秒过去了-- 期间运营反馈系统出现大量订单超时情 ...
- insert into select语句锁表故障
深入研究insert into select语句锁表故障(上) 故障描述 前几天,一个mysql数据库运维同事,在生产上用insert into select * from语句,在生产上备份了一张表, ...
- 【MySQL】MySQL Insert into select 大量锁表导致无法插入
1.概述 原文:因用了Insert into select语句,同事被开除了! Insert into select 请慎用,同事因为使用了 Insert into select 语句引发了重大生产事 ...
- mysql查询数据会不会锁表_mysql select是否会锁表 ?
mysql select是否会锁表 ? 有的人说mysql的 select 会锁表 ,有的人说 mysql 的查询不会锁表 . 其他他们都对,没有 ,但是很片面. 其实对于mysql的select 是 ...
- MySQL中INSERT INTO SELECT的使用
1. 语法介绍 有三张表a.b.c,现在需要从表b和表c中分别查几个字段的值插入到表a中对应的字段.对于这种情况,可以使用如下的语句来实现: INSERT INTO db1_name (f ...
- 语法:MySQL中INSERT INTO SELECT的使用
1. 语法介绍 有三张表a.b.c,现在需要从表b和表c中分别查几个字段的值插入到表a中对应的字段.对于这种情况,可以使用如下的语句来实现: INSERT INTO db1_name (f ...
- mysql+inser+select_解析MySQL中INSERT INTO SELECT的使用
1. 语法介绍 有三张表a.b.c,现在需要从表b和表c中分别查几个字段的值插入到表a中对应的字段.对于这种情况,可以使用如下的语句来实现: INSERT INTO db1_name (field1, ...
- SELECT INTO 和 INSERT INTO SELECT 两种表复制语句
SELECT INTO 和 INSERT INTO SELECT 两种表复制语句 Insert是T-sql中常用语句,Insert INTO table(field1,field2,...) valu ...
最新文章
- 多线程访问全局变量和局部变量
- PAT 乙级 1041
- bzoj1176: [Balkan2007]Mokia cdq
- oracle利用游标添加数据库,Oracle数据库游标的类型及使用实例全解
- 【Kafka】Kafka Consumer 管理 Offset 原理
- 红安一中高考2021成绩查询,红安一中2019高考喜报成绩、一本二本上线人数情况...
- [第1节]时间、空间复杂度,斐波那契、爬楼梯
- 电子书 杜春雷 ARM体系结构与编程
- 洛谷刷题C语言:第一次,第二次,成交!、Bessie‘s Secret Pasture S、金币、Bookshelf B、东南西北
- 五、嵌入式学习笔记--GPIO接口
- 锐捷服务器虚拟化技术_交换机虚拟化技术.ppt
- 高仿微信 Windows 端
- EC200 EC600 EC20接入工业互联网云平台
- 聚类分析:使用过程CLUSTER实现层次法(聚多少类的评判)
- 逻辑思维-03取水问题
- 基于FPGA的ds18b20温度传感器使用
- 主流网站开发语言 ASP ASP.NET JSP PHP CGI
- win10 校园宽带连接不上的解决办法(错误720、“以太网”没有有效的ip设置)...
- Java美团下单接单区域处理_订餐系统之同步美团商家订单
- vue项目打包-图片
热门文章
- 关于ESP8266 GPIO中断使用的总结
- 一和零(二维01背包)
- [ARM异常]-armv8/armv9同步异常的介绍
- [reference]-armv8汇编学习-书籍推荐
- crypto-RSA-常用解密代码块
- 进程间通信——DLL共享节
- [羊城杯 2020]Bytecode [UTCTF2020]babymips
- 2020-10-27(汇编小收获)
- 006 kkrunchy_Ryd之类FSG压缩壳
- 【Python pandas】UserWarning: Could not import the lzma module. Your installed Python is incomplete