点击蓝色“架构文摘”关注我哟

加个“星标”,每天上午 09:25,干货推送!

来源:王啸tr1912  |  https://blog.csdn.net/tr1912/article/details/81668423

最近总结了一波死锁问题,和大家分享一下,我这也是从网上各种浏览博客得来,希望原作者见谅,参考博客地址都在下方。

Mysql 锁类型和加锁分析

MySQL有三种锁的级别:页级、表级、行级。

  • 表级锁:开销小,加锁快;不会出现死锁;锁定粒度大,发生锁冲突的概率最高,并发度最低。

  • 行级锁:开销大,加锁慢;会出现死锁;锁定粒度最小,发生锁冲突的概率最低,并发度也最高。

  • 页面锁:开销和加锁时间界于表锁和行锁之间;会出现死锁;锁定粒度界于表锁和行锁之间,并发度

算法:

  • next KeyLocks锁,同时锁住记录(数据),并且锁住记录前面的Gap

  • Gap锁,不锁记录,仅仅记录前面的Gap

  • Recordlock锁(锁数据,不锁Gap)

  • 所以其实 Next-KeyLocks=Gap锁+ Recordlock锁

死锁产生原因和示例

产生原因

所谓死锁:是指两个或两个以上的进程在执行过程中,因争夺资源而造成的一种互相等待的现象,若无外力作用,它们都将无法推进下去.此时称系统处于死锁状态或系统产生了死锁,这些永远在互相等待的进程称为死锁进程。表级锁不会产生死锁.所以解决死锁主要还是针对于最常用的InnoDB。

死锁的关键在于:两个(或以上)的Session加锁的顺序不一致。

那么对应的解决死锁问题的关键就是:让不同的session加锁有次序

产生示例

案例一

需求:将投资的钱拆成几份随机分配给借款人。

起初业务程序思路是这样的:

投资人投资后,将金额随机分为几份,然后随机从借款人表里面选几个,然后通过一条条select for update 去更新借款人表里面的余额等。

例如两个用户同时投资,A用户金额随机分为2份,分给借款人1,2

B用户金额随机分为2份,分给借款人2,1

由于加锁的顺序不一样,死锁当然很快就出现了。

对于这个问题的改进很简单,直接把所有分配到的借款人直接一次锁住就行了。

Select * from xxx where id in (xx,xx,xx) for update

在in里面的列表值mysql是会自动从小到大排序,加锁也是一条条从小到大加的锁

例如(以下会话id为主键):

Session1:

mysql> select * from t3 where id in (8,9) for update;+----+--------+------+---------------------+| id | course | name | ctime               |+----+--------+------+---------------------+|  8 | WA     | f    | 2016-03-02 11:36:30 ||  9 | JX     | f    | 2016-03-01 11:36:30 |+----+--------+------+---------------------+rows in set (0.04 sec)Session2:select * from t3 where id in (10,8,5) for update;锁等待中……

其实这个时候id=10这条记录没有被锁住的,但id=5的记录已经被锁住了,锁的等待在id=8的这里不信请看

Session3:mysql> select * from t3 where id=5 for update;锁等待中

Session4:mysql> select * from t3 where id=10 for update;+----+--------+------+---------------------+| id | course | name | ctime               |+----+--------+------+---------------------+| 10 | JB     | g    | 2016-03-10 11:45:05 |+----+--------+------+---------------------+row in set (0.00 sec)在其它session中id=5是加不了锁的,但是id=10是可以加上锁的。
案例二

在开发中,经常会做这类的判断需求:根据字段值查询(有索引),如果不存在,则插入;否则更新。

以id为主键为例,目前还没有id=22的行

Session1:select * from t3 where id=22 for update;Empty set (0.00 sec)

session2:select * from t3 where id=23  for update;Empty set (0.00 sec)

Session1:insert into t3 values(22,'ac','a',now());锁等待中……

Session2:insert into t3 values(23,'bc','b',now());ERROR 1213 (40001): Deadlock found when trying to get lock; try restarting transaction

当对存在的行进行锁的时候(主键),mysql就只有行锁。
当对未存在的行进行锁的时候(即使条件为主键),mysql是会锁住一段范围(有gap锁)

锁住的范围为:

(无穷小或小于表中锁住id的最大值,无穷大或大于表中锁住id的最小值)

如:如果表中目前有已有的id为(11 , 12)

那么就锁住(12,无穷大)

如果表中目前已有的id为(11 , 30)

那么就锁住(11,30)

对于这种死锁的解决办法是:

insert into t3(xx,xx) on duplicate key update xx='XX';

用mysql特有的语法来解决此问题。因为insert语句对于主键来说,插入的行不管有没有存在,都会只有行锁

案例三
mysql> select * from t3 where id=9 for update;+----+--------+------+---------------------+| id | course | name | ctime               |+----+--------+------+---------------------+|  9 | JX     | f    | 2016-03-01 11:36:30 |+----+--------+------+---------------------+

row in set (0.00 sec)Session2:mysql> select * from t3 where id<20 for update;锁等待中

Session1:mysql> insert into t3 values(7,'ae','a',now());ERROR 1213 (40001): Deadlock found when trying to get lock; try restarting transaction

这个跟案例一其它是差不多的情况,只是session1不按常理出牌了,

Session2在等待Session1的id=9的锁,session2又持了1到8的锁(注意9到19的范围并没有被session2锁住),最后,session1在插入新行时又得等待session2,故死锁发生了。

这种一般是在业务需求中基本不会出现,因为你锁住了id=9,却又想插入id=7的行,这就有点跳了,当然肯定也有解决的方法,那就是重理业务需求,避免这样的写法。

案例四

一般的情况,两个session分别通过一个sql持有一把锁,然后互相访问对方加锁的数据产生死锁。

案例五

两个单条的sql语句涉及到的加锁数据相同,但是加锁顺序不同,导致了死锁。

案例六

死锁场景如下:

CREATE TABLE dltask (    id bigint unsigned NOT NULL AUTO_INCREMENT COMMENT ‘auto id’,    a varchar(30) NOT NULL COMMENT ‘uniq.a’,    b varchar(30) NOT NULL COMMENT ‘uniq.b’,    c varchar(30) NOT NULL COMMENT ‘uniq.c’,    x varchar(30) NOT NULL COMMENT ‘data’,       PRIMARY KEY (id),    UNIQUE KEY uniq_a_b_c (a, b, c)) ENGINE=InnoDB DEFAULT CHARSET=utf8 COMMENT=’deadlock test’;

a,b,c三列,组合成一个唯一索引,主键索引为id列。

事务隔离级别:

RR (Repeatable Read)

每个事务只有一条SQL:

delete from dltask where a=? and b=? and c=?;

SQL的执行计划


死锁日志


众所周知,InnoDB上删除一条记录,并不是真正意义上的物理删除,而是将记录标识为删除状态。(注:这些标识为删除状态的记录,后续会由后台的Purge操作进行回收,物理删除。但是,删除状态的记录会在索引中存放一段时间。) 在RR隔离级别下,唯一索引上满足查询条件,但是却是删除记录,如何加锁?InnoDB在此处的处理策略与前两种策略均不相同,或者说是前两种策略的组合:对于满足条件的删除记录,InnoDB会在记录上加next key lock X(对记录本身加X锁,同时锁住记录前的GAP,防止新的满足条件的记录插入。) Unique查询,三种情况,对应三种加锁策略,总结如下:

此处,我们看到了next key锁,是否很眼熟?对了,前面死锁中事务1,事务2处于等待状态的锁,均为next key锁。明白了这三个加锁策略,其实构造一定的并发场景,死锁的原因已经呼之欲出。但是,还有一个前提策略需要介绍,那就是InnoDB内部采用的死锁预防策略。

  • 找到满足条件的记录,并且记录有效,则对记录加X锁,No Gap锁(lock_mode X locks rec but not gap);

  • 找到满足条件的记录,但是记录无效(标识为删除的记录),则对记录加next key锁(同时锁住记录本身,以及记录之前的Gap:lock_mode X);

  • 未找到满足条件的记录,则对第一个不满足条件的记录加Gap锁,保证没有满足条件的记录插入(locks gap before rec);

死锁预防策略

InnoDB引擎内部(或者说是所有的数据库内部),有多种锁类型:事务锁(行锁、表锁),Mutex(保护内部的共享变量操作)、RWLock(又称之为Latch,保护内部的页面读取与修改)。

InnoDB每个页面为16K,读取一个页面时,需要对页面加S锁,更新一个页面时,需要对页面加上X锁。任何情况下,操作一个页面,都会对页面加锁,页面锁加上之后,页面内存储的索引记录才不会被并发修改。

因此,为了修改一条记录,InnoDB内部如何处理:
  • 根据给定的查询条件,找到对应的记录所在页面;

  • 对页面加上X锁(RWLock),然后在页面内寻找满足条件的记录;

  • 在持有页面锁的情况下,对满足条件的记录加事务锁(行锁:根据记录是否满足查询条件,记录是否已经被删除,分别对应于上面提到的3种加锁策略之一);

死锁预防策略:相对于事务锁,页面锁是一个短期持有的锁,而事务锁(行锁、表锁)是长期持有的锁。因此,为了防止页面锁与事务锁之间产生死锁。InnoDB做了死锁预防的策略:持有事务锁(行锁、表锁),可以等待获取页面锁;但反之,持有页面锁,不能等待持有事务锁。

根据死锁预防策略,在持有页面锁,加行锁的时候,如果行锁需要等待。则释放页面锁,然后等待行锁。此时,行锁获取没有任何锁保护,因此加上行锁之后,记录可能已经被并发修改。因此,此时要重新加回页面锁,重新判断记录的状态,重新在页面锁的保护下,对记录加锁。如果此时记录未被并发修改,那么第二次加锁能够很快完成,因为已经持有了相同模式的锁。但是,如果记录已经被并发修改,那么,就有可能导致本文前面提到的死锁问题。

以上的InnoDB死锁预防处理逻辑,对应的函数,是row0sel.c::row_search_for_mysql()。感兴趣的朋友,可以跟踪调试下这个函数的处理流程,很复杂,但是集中了InnoDB的精髓。

剖析死锁的成因

做了这么多铺垫,有了Delete操作的3种加锁逻辑、InnoDB的死锁预防策略等准备知识之后,再回过头来分析本文最初提到的死锁问题,就会手到拈来,事半而功倍。

首先,假设dltask中只有一条记录:(1, ‘a’, ‘b’, ‘c’, ‘data’)。三个并发事务,同时执行以下的这条SQL:

delete from dltask where a=’a’ and b=’b’ and c=’c’;

并且产生了以下的并发执行逻辑,就会产生死锁:

‍‍‍上面分析的这个并发流程,完整展现了死锁日志中的死锁产生的原因。其实,根据事务1步骤6,与事务0步骤3/4之间的顺序不同,死锁日志中还有可能产生另外一种情况,那就是事务1等待的锁模式为记录上的X锁 + No Gap锁(lock_mode X locks rec but not gap waiting)。这第二种情况,也是”润洁”同学给出的死锁用例中,使用MySQL 5.6.15版本测试出来的死锁产生的原因。

此类死锁,产生的几个前提:

  • Delete操作,针对的是唯一索引上的等值查询的删除;(范围下的删除,也会产生死锁,但是死锁的场景,跟本文分析的场景,有所不同)

  • 至少有3个(或以上)的并发删除操作;

  • 并发删除操作,有可能删除到同一条记录,并且保证删除的记录一定存在;

  • 事务的隔离级别设置为Repeatable Read,同时未设置innodb_locks_unsafe_for_binlog参数(此参数默认为FALSE);(Read Committed隔离级别,由于不会加Gap锁,不会有next key,因此也不会产生死锁)

  • 使用的是InnoDB存储引擎;(废话!MyISAM引擎根本就没有行锁)

如何检测代码运行是否出现死锁

  • https://blog.csdn.net/kk185800961/article/details/79528841

  • https://blog.csdn.net/yucaifu1989/article/details/79400446

参考

  • https://blog.csdn.net/mine_song/article/details/71106410

  • http://hedengcheng.com/?p=844

  • http://www.cnblogs.com/sessionbest/articles/8689082.html

end

推荐阅读:

  • 如何设计一个牛逼的本地缓存!

  • 这样设计订单系统,同事直呼 "666"!

  • ElasticSearch 在数十亿级别数据下,如何提高查询效率?

  • Spring Cloud架构的各个组件的原理分析

  • 一口气说出 5 种 IO 模型,蒙圈了!

如有收获,点个在看,诚挚感谢

mysql 秀出两个相关联的表中满足条件的内容_这六个 MySQL 死锁案例,能让你理解死锁的原因!...相关推荐

  1. mysql 表与表之间的条件比对_十六年老司机笔记:MySQL性能优化之必备技能

    导读:MySQL 是目前广泛使用的数据库,但很多项目对 MySQL 的使用仍然存在欠优化的地方,本文根据作者长年的经验提出了 MySQL 数据库优化方法,这些方法是否适合你的项目?还有哪些优化方法值得 ...

  2. mysql 表与表之间的条件比对_《MySQL数据库》关联查询

    一.关联查询 1.概念 在查询数据时,所需要的数据不只在一张表中,可能在两张或多张表中.这个时候,需要同时操作这些表来查询数据,即关联查询. 关联查询所涉及到的表与表之间都会存在有关联的字段,如员工表 ...

  3. mysql数据库优化课程---12、mysql嵌套和链接查询(查询user表中存在的所有班级的信息?)...

    mysql数据库优化课程---12.mysql嵌套和链接查询(查询user表中存在的所有班级的信息?) 一.总结 一句话总结: in:distinct:select * from class wher ...

  4. mysql找出两个结果集不同数据_如何快速对比MySQL两个不同实例上的数据并找出差异...

    在MySQL运维中,研发同事想对比下两个不同实例上的数据并找出差异,除主键外还需要对比每一个字段,如何做呢? 第一种方案,写程序将两个实例上的每一行数据取出来进行对比,理论可行,但是对比时间较长. 第 ...

  5. mysql 表与表之间的条件比对_值得收藏 | 一份最完整的MySQL规范

    一.数据库命令规范 所有数据库对象名称必须使用小写字母并用下划线分割 所有数据库对象名称禁止使用MySQL保留关键字(如果表名中包含关键字查询时,需要将其用单引号括起来) 数据库对象的命名要能做到见名 ...

  6. mysql所有班级名称和人数_mysql数据库优化课程---12、mysql嵌套和链接查询(查询user表中存在的所有班级的信息?)...

    mysql数据库优化课程---12.mysql嵌套和链接查询(查询user表中存在的所有班级的信息?) 一.总结 一句话总结: in:distinct:select * from class wher ...

  7. mysql中sysdate函数转字符串_【转】MySQL:日期函数、时间函数总结(MySQL 5.X)

    转自:http://www.cnblogs.com/she27/articles/1377089.html 一.MySQL 获得当前日期时间 函数 1.1 获得当前日期+时间(date + time) ...

  8. java怎么将前端的数据存到关联的表中_MySQL数据库性能优化

    1.表设计 1.1.数据库表最大程度遵守三范式 第一范式:数据库表中的字段都是单一属性的,不可再分: 第二范式:在第一范式基础上,除了主键以外的其它列都依赖于该主键: 第三范式:如果满足第二范式,并且 ...

  9. mysql索引执行计划_第六章· MySQL索引管理及执行计划

    一.索引介绍 1.为什么要做索引 让获取的数据更具有目的性,从而提高数据库检索数据的性能 2.索引类型介绍 1)BTREE:树索引 B+树索引 B*树索引 2)HASH:HASH索引 3)FULLTE ...

最新文章

  1. EasyUI Window学习总结
  2. 飞畅科技-工业以太网的应用现状及前景展望
  3. 获取Android版本信息和电话信息
  4. 线程之间通信 等待(wait)和通知(notify)
  5. 关于Debug和Release之本质区别的讨论(转载)
  6. PTA数据结构期末练习 - 单选题、判断题
  7. 《LUA游戏开发实践指南》学习笔记1
  8. BZOJ 2226 [Spoj 5971] LCMSum 最大公约数之和 | 数论
  9. ip跳转跟踪命令_在跟踪命令(-T272)的帮助下学习避免身份跳转问题(IDENTITY_CACHE)
  10. c# 基础语法总结(实例)
  11. 微信公众号采坑之授权config
  12. linux oa系统搭建,企业Linux系统部署OA系统上线实例
  13. Java 8:那些Java8的常见写法
  14. 【Unity主程手记(摘录)】第一章(二) - Dictory 底层源码剖析
  15. 充分必要条件与C语言,充分条件与必要条件知识点总结,高中数学充分条件与必要条件知识点总结...
  16. Kubuntu 系统美化--系统图标
  17. 【论文阅读】【综述】3D Object Detection 3D目标检测综述
  18. oracle rac mpp,DB2 purescale vs Oracle RAC
  19. 微擎系统内置的所有函数大全,一共5435个,可以当作微擎开发函数手册来查看(下篇)
  20. [笔记]OpenCV+FFmpeg+Qt实现视频编辑器之OpenCV视频lO接口

热门文章

  1. DeepLab v2的摘要部分(翻译加理解)
  2. 推荐系统笔记:基于SVD的协同过滤
  3. 控制台上的内容不输入到nohup.out
  4. 时序数据-LSTM模型-实现用电量预测
  5. Qt实现Matlab的等差函数linSpace
  6. 双NameNode的同步机制
  7. ARCGIS导入XY坐标的EXCEL文档,出现无法选择X和Y字段的问题
  8. tomcat架构分析 (Session管理)【转】
  9. Java内存模型深度解析:volatile--转
  10. SQL 四种连接:内连接、左外连接、右外连接、全连接--转载