一.MySQL架构与历史

参考高性能MySQL本书写的笔记

1.1MySQL逻辑架构

第二层架构师MySQL的核心部分，大多数的MySQL核心功能都在这一层，包括查询，解析，优化，缓存以及所有的内置函数（日期、时间、数字和加密函数），所有的跨存储引擎的功能都在这一层实现：存储过程、视图、触发器等

存储引擎不会去解析我们的SQL，不同的存储引擎之间也不会相互通信，而只是简单的响应上层服务器的请求。

InnoDB是一个例外，他会解析外键定义，因为MySQL服务器本身没有实现该功能

1.1.1连接管理与安全性

每个客户端都会在服务器拥有一个线程，这个连接的查询只会在这个单独的线程中执行，该线程只能轮流在某个CPU核心或者CPU中运行。服务器会负责缓存线程，因此不必须要为每一个新建的连接创建或者销毁线程

MySQL5.5之后的版本提供了一个API，支持线程池（Thread-Pooling）插件，可以使用池中的少量线程来服务大量的连接

1.1.2优化与执行

MySQL会解析查询，并创建内部数据结构(解析树)，然后对其进行各种优化，包括重写优化、决定表的读取顺序、选择合适的索引等等。

优化器并不关心表使用的是什么存储引擎，但存储引擎对于优化查询是有影响的

对于SELECT语句，在解析查询前，服务器会先检查查询缓存（Query Cache），如果能够在其中找到对应的查询，服务器就不比再执行查询解析、优化和执行的整个过程，而是直接返回查询缓存中的结果集

1.2并发控制

1.2.1读写锁

又叫共享锁和排它锁

1.2.2锁粒度

一种提高共享资源并发性的方式就是让锁的对象更具有选择性，尽量只锁定需要修改的部分数据，而不是所有的资源。

问题是，加锁读锁等锁的各种操作也会消耗资源。

所谓的锁策略，就是在锁的开销和数据的安全性之间寻求平衡，这种平衡当然也会影响到我们的性能

MySQL提供了多种选择，每种存储引擎都可以实现自己的锁策略和锁粒度

表锁

锁定整张表，用户在进行修改，增加、删除等操作时，需要先获得写锁，这会阻塞其他用户对该表的所有读写操作。读锁之间不相互堵塞。

写锁也比读锁有更高的优先级，因此写锁请求可能会插队反之，读锁不能插写锁的队

行锁

顾名思义就是锁定一行数据，是将表锁的等级精确到了行的级别

1.3事务

事务就是一组原子性的SQL查询，或者说说是一个独立的单元。事务内的语句要么全部执行，要么全部执行失败。

ACID

表示的是：原子性、一致性、隔离性、持久性

原子性：

一个事物必须视为一个不可分割的最小工作单元，也就是说，要么全部提交成功，要么全部失败回滚，不可能只执行其中一部分操作

一致性：

数据库总是从一个一致性状态转换到另一个一致性状态

隔离性：

通常来说，一个事物所做的修改在最终提交前，对其他事务是不可见的

持久性：

一旦事务提交，则其所做的修改就会永久保存到数据库中。

1.3.1 隔离级别

SQL中提供了四种隔离级别，每一种级别都规定了一个事务中所做的修改，哪些在事务内和事务间是可见的，哪些是不可见的。较低的隔离级别通常可以执行更高的并发，系统的开销也更低

每种存储引擎实现的隔离级别不尽相同

READ UNCOMMITTED 未提交读

在该级别，事物的修改，即使没有提交，对其他事务也都是可见的。

事务可以读取未提交的数据，这也被成为脏读，存在一定的安全问题

性能上也没有其他级别好太多，但是缺少其他级别那样的安全性，所以一般很少用

READ COMMITTED 提交读

大多数的数据库系统默认的隔离级别都是READ COMMITTED，但是MySQL不是，READ COMMITTED满足前面我们提到的隔离性的简单定义：

一个事务开始时，只能“看到”已提交的事务做出的修改。也就是说一个事务从开始直到提交前，所做的任何修改对其他事务是不可见的。

这个级别又叫做不可重复读，因为两次执行同样的查询，可能会得到不一样的结果

REPEATABLE READ 可重复度

REPEATABLE READ 解决了脏读的问题。该级别保证了在同一个事务中多次读取同样记录的结果是一致的。

但是理论上，可重复读隔离级别还是无法解决另外一个幻读
(Phantom Read)的问题。所谓幻读，指的是当某个事务在读取某个范围内的记录时,另外一个事务又在该范围内插入了新的记录，当之前的事务再次读取该范围的记录时，会产生幻行(Phantom Row)。InnoDB和XtraDB存储引擎通过多版本并发控制(MVCC, Multiversion Concurrency Control)解决了幻读的问题。本章稍后会做进一步的讨论。
可重复读是MySQL的默认事务隔离级别。

SERIALIZABLE 可串行化

SERIALIZABLE是最高的隔离级别。它通过强制事务串行执行，避免了前面说的幻读的问题。简单来说，SERIALIZABLE 会在读取的每一行数据上都加锁，所以可能导致大量的超时和锁争用的问题。实际应用中也很少用到这个隔离级别，只有在非常需要确保数据的一致性而且可以接受没有并发的情况下，才考虑采用该级别。

隔离级别	脏读可能性	不可重复读可能性	幻读可能性	加锁读
READ UNCOMMITTED	yes	yes	yes	no
READ COMMITTED	no	yes	yes	no
REPEATABLE READ	no	no	yes	no
SERIALIZABLE	no	no	no	yes

1.3.2 死锁

死锁是指两个或者多个事务在同一资源上相互占用，并请求锁定对方占用的资源，从而导致恶性循环的现象。当多个事务试图以不同的顺序锁定资源时，就可能会产生死锁。多个事务同时锁定同一个资源时，也会产生死锁。

例如，设想下面两个事务同时处理student表

START TRANSACTION
UPDATE Student SET class=5 WHERE student_id = 3 AND DATE="2021-02-12";
UPDATE Student SET class=6 WHERE student_id = 4 AND DATE="2021-02-13";
COMMIT;START TRANSACTION
UPDATE Student SET student_name="yyyy" WHERE student_id = 4 AND DATE="2021-02-13";
UPDATE Student SET student_name="ssss" WHERE student_id = 3 AND DATE="2021-02-12";
COMMIT;

如果凑巧，两个事务都执行了第一条UPDATE语句，更新了一行数据，同时也锁定了该行数据，接着每个事务都尝试去执行第二条UPDATE语句，却发现该行已经被对方锁定，然后两个事务都等待对方释放锁，同时又持有对方需要的锁，则陷入死循环。除非有外部因素介入才可能解除死锁。

为了解决这种问题，数据库系统实现了各种死锁检测和死锁超时机制。越复杂的系统，比如InnoDB存储引擎，越能检测到死锁的循环依赖，并立即返回一个错误。这种解决方式很有效，否则死锁会导致出现非常慢的查询。还有一种解决方式，就是当查询的时间达到锁等待超时的设定后放弃锁请求，这种方式通常来说不太好。

InnoDB目前处理死锁的方法是，将持有最少行级排他锁的事务进行回滚(这是相对比较简单的死锁回滚算法)。

锁的行为和顺序是和存储引擎相关的。以同样的顺序执行语句，有些存储引擎会产生死锁，有些则不会。死锁的产生有双重原因:有些是因为真正的数据冲突，这种情况通常很难避免，但有些则完全是由于存储引擎的实现方式导致的。

死锁发生以后，只有部分或者完全回滚其中一个事务，才能打破死锁。对于事务型的系统，这是无法避免的，所以应用程序在设计时必须考虑如何处理死锁。大多数情况下只需要重新执行因死锁回滚的事务即可。

1.3.3 事务日志

事务日志可以帮助提高事务的效率。

使用事务日志，存储引擎在修改表的数据时只需要修改其内存拷贝，再把该修改行为记录到持久在硬盘上的事务日志中，而不用每次都将修改的数据本身持久到磁盘。事务日志采用的是追加的方式，因此写日志的操作是磁盘上一小块区域内的顺序I/O，而不像随机I/O需要在磁盘的多个地方移动磁头，所以采用
事务日志的方式相对来说要快得多。

事务日志持久以后，内存中被修改的数据在后台可以慢慢地刷回到磁盘。

目前大多数存储引擎都是这样实现的，我们通常称之为预写式日志(Write-Ahead Logging),修改数据需要写两次磁盘。
如果数据的修改已经记录到事务日志并持久化，但数据本身还没有写回磁盘，此时系统崩溃，存储引擎在重启时能够自动恢复这部分修改的数据。具体的恢复方式则视存储引擎而定。

1.3.4 MySQL中的事务

MySQL提供了两种事务型的存储引擎: InnoDB和NDB Cluster。另外还有一-些第三方存储引擎也支持事务，比较知名的包括XtraDB和PBXT。后面将详细讨论它们各自的一些特点。（MyISAM也在其中）

自动提交(AUTOCOMMIT)

MySQL默认采用自动提交(AUTOCOMMIT)模式。

也就是说，如果不是显式地开始一个事务，则每个查询都被当作-个事务执行提交操作。在当前连接中，可以通过设置AUTOCOMIT变量来启用或者禁用自动提交模式:

查看本地默认的提交模式
SHOW VARIABLES LIKE 'AUTOCOMMIT';

我这里的ON就是表示启用我们的自动提交，如果我们想要修改默认值

SET AUTOCOMMIT = 0;

当AUTOCOMMIT=0时，所有的查询都是在一个事务中，直到显式地执行COMMIT提交或者ROLLBACK回滚，该事务结束，同时又开始了另一个新事务。

修改AUTOCOMMIT对非事务型的表，比如MyISAM或者内存表，不会有
任何影响。对这类表来说，没有COMMIT或者ROLLBACK的概念，也可以说是相当于一直处于AUTOCOMMIT启用的模式。

另外还有一些命令，在执行之前会强制执行COMMIT提交当前的活动事务。典型的例子，在数据定义语言(DDL)中，如果是会导致大量数据改变的操作，比如ALTER TABLE,就是如此。另外还有LOCK TABLES 等其他语句也会导致同样的结果。如果有需要，请检查对应版本的官方文档来确认所有可能导致自动提交的语句列表。
MySQL可以通过执行SET TRANSACTION ISOLATION LEVEL 命令来设置隔离级别。新的隔离级别会在下一个事务开始的时候生效。可以在配置文件中设置整个数据库的隔离级别，也可以只改变当前会话的隔离级别:

SET SESSION TRANSACTION ISOLATION LEVEL READ COMMITED;

MySQL能够识别所有的4个ANSI隔离级别，InnoDB 引擎也支持所有的隔离级别。

在事务中混合使用存储引擎

MySQL服务器层不管理事务，事务是由下层的存储引擎实现的。所以在同一个事务中，使用多种存储引擎是不可靠的。
如果在事务中混合使用了事务型和非事务型的表( 例如InnoDB和MyISAM表)，在正常提交的情况下不会有什么问题。
但如果该事务需要回滚，非事务型的表上的变更就无法撤销，这会导致数据库处于不一致的状态，这种情况很难修复，事务的最终结果将无法确定。所以，为每张表选择合适的存储引擎非常重要。
在非事务型的表上执行事务相关操作的时候，MySQL通常不会发出提醒，也不会报错。有时候只有回滚的时候才会发出一个警告:“某些非事务型的表上的变更不能被回滚”。但大多数情况下，对非事务型表的操作都不会有提示。

隐式和显示锁定

隐式锁定

InnoDB采用的是两阶段锁定协议(two-phase locking protocol)。在事务执行过程中，随时都可以执行锁定，锁只有在执行COMMIT或者ROLLBACK的时候才会释放，并且所有的锁是在同一时刻被释放。前面描述的锁定都是隐式锁定，InnoDB会根据隔离级别在需要的时候自动加锁。
显示锁定

另外，InnoDB 也支持通过特定的语句进行显式锁定，这些语句不属于SQL规范 :
```
SELECT ... LOCK IN SHARE MODE
SELECT ... FOR UPDATE
```
MySQL也支持LOCK TABLES 和UNL0CK TABLES 语句，这是在服务器层实现的，和存储引擎无关。它们有自己的用途，但并不能替代事务处理。如果应用需要用到事务，还是应该选择事务型存储引擎。

经常可以发现，应用已经将表从MyISAM转换到InnoDB，但还是显式地使用LOCK TABLES语句。这不但没有必要，还会严重影响性能，实际上InnoDB的行级锁工作得更好。
L0CK TABLES和事务之间相互影响的话，情况会变得非常复杂，在某些MySQL版本中甚至会产生无法预料的结果。因此，本书建议，除了事务中禁用了AUTOCOMIT,可以使用LOCK TABLES 之外，其他任何时候都不要显式地执行LOCK TABLES，不管使用的是什么存储引擎。

1.4 多版本并发控制

MySQL的大多数事务型存储引擎实现的都不是简单的行级锁。

基于提升并发性能的考虑，它们一般都同时实现了多版本并发控制(MVCC)。不仅是MySQL，包括Oracle、PostgreSQL等其他数据库系统也都实现了MVCC,但各自的实现机制不尽相同，因为MVCC没有一个统一的实现标准。

可以认为MVCC是行级锁的一个变种，但是它在很多情况下避免了加锁操作，因此开销更低。虽然实现机制有所不同，但大都实现了非阻塞的读操作，写操作也只锁定必要的行。

MVCC的实现，是通过保存数据在某个时间点的快照来实现的。也就是说，不管需要执行多长时间，每个事务看到的数据都是一致的。

根据事务开始的时间不同，每个事务对同一张表，同一时刻看到的数据可能是不一样的。如果之前没有这方面的概念，这句话听起来就有点迷惑。熟悉了以后会发现，这句话其实还是很容易理解的。
前面说到不同存储引擎的MVCC实现是不同的，典型的有乐观(optimistic) 并发控制和悲观(pessimistic) 并发控制。下面我们通过InnoDB的简化版行为来说明MVCC是如何工作的。

InnoDB的MVCC,是通过在每行记录后面保存两个隐藏的列来实现的。这两个列，一个保存了行的创建时间，一个保存行的过期时间(或删除时间)。

当然存储的并不是实际的时间值，而是系统版本号(system version number)。每开始- - 个新的事务，系统版本号都会自动递增。

事务开始时刻的系统版本号会作为事务的版本号，用来和查询到的
每行记录的版本号进行比较。下面看一下在REPEATABLE READ 隔离级别下，MVCC具体是如何操作的。

SELECTInnoDB会根据以下两个条件检查每行记录:a. InnoDB只查找版本早于当前事务版本的数据行(也就是，行的系统版本号小于或等于事务的系统版本号)，这样可以确保事务读取的行，要么是在事务开
始前已经存在的，要么是事务自身插人或者修改过的。b.行的删除版本要么未定义，要么大于当前事务版本号。这可以确保事务读取到的行，在事务开始之前未被删除。只有符合上述两个条件的记录，才能返回作为查询结果。

上面的意思简单来说就是：只能查到以前事务修改过的数据，查找到本事务开始前的数据

INSERTInnoDB为新插入的每一行保存当前系统版本号作为行版本号。
DELETEInnoDB为删除的每一行保存当前系统版本号作为行删除标识。
UPDATEInnoDB为插入一行新记录，保存当前系统版本号作为行版本号，同时保存当前系统版本号到原来的行作为行删除标识。

保存这两个额外系统版本号，使大多数读操作都可以不用加锁。这样设计使得读数据操作很简单，性能很好，并且也能保证只会读取到符合标准的行。

不足之处是每行记录都需要额外的存储空间，需要做更多的行检查工作，以及一些额外的维护工作。
MVCC只在REPEATABLE READ 和READ COMMITTED 两个隔离级别下工作。其他两个隔离级别都和MVCC不兼容（MVCC并没有正式的规范，所以各个存储引擎和数据库系统的实现都是各异的，没有人能说其他的实现方式是错误的）

因为READ UNCOMMITTED总是读取最新的数据行,而不是符合当前事务版本的数据行。而SERIALIZABLE则会对所有读取的行都加锁。

高性能MySQL笔记——MySQL基础（一）相关推荐

涂抹mysql笔记-mysql复制特性
涂抹mysql笔记-mysql复制特性 mysql复制特性:既可以实现整个服务(all databases)级别的复制,也可以只复制某个数据库或某个数据库中的某个指定的表对象.即可以实现A复制到B(主 ...
MySQL笔记（基础）
一.SQL语句 1.DDL(数据定义语言) (1)数据库操作 1)创建数据库 CREATE DATABASE dbname; 2)选择要操作的数据库 USE dbname; 3)删除数据库 drop ...
MySQL笔记--select基础
MySQL基础登录退出语法规范表达式分类: 条件表达式逻辑表达式模糊查询常用查询常用关键字 distinct 去重 escape 转译常用函数单行函数字符函数: concat() ...
mysql 十八哥_十八哥Mysql笔记之基础篇
连接Mysql服务器注意 :-h指的是host地址 :-u指的是user, 之所以打到-p回车再输入密码,是为了防止密码泄露如果-h不写则默认是localhost ★服务器à数据库 databas ...
MySQL笔记--MySQL排序查询(6)
MySQL排序查询进阶三:排序查询案例1:查询员工信息,要求工资从高到低排序案例2:查询部门编号>=90的员工信息,按入职时间的先后顺序进行排序案例3:按年薪的高低显示员工信息和年薪[按 ...
MySQL笔记-mysql权限授权及创建用户
MySQL创建用户的方式: 1. insert into user: 2. create user: 3. grant all privileges on *.* to 'xxx'@'xxx' id ...
MySQL笔记-mysql用户管理
用户创建(create user).修改(alter user).分配权限(grant).删除(drop user)都属于数据库管理语句中的用户管理语句(Database Administration ...
MySQL学习笔记-从基础到进阶
MySQL自学笔记 MySQL 基础 SQL SQL通用语法 SQL分类 DDL数据操作数据类型 DML数据操作 DQL数据操作 DCL数据控制函数约束多表查询事务进阶存储引擎 **索引 ...
MySQL 笔记2 -- MySQL 基础
MySQL 笔记2 – MySQL 基础 MySQL 系列笔记是笔者学习.实践MySQL数据库的笔记课程链接: MySQL 数据库基础入门教程参考文档: MySQL 官方文档一.MySQL 简介 ...
《高性能MySQL》（第三版）之一：MySQL架构与基础
<高性能MySQL>(第三版)之一:MySQL架构与基础 ★MySQL的逻辑架构: 分为三层结构: 连接处理.授权认证.安全等内容,非mysql独有. Mysql核心功能,比如查询解析.分 ...

高性能MySQL笔记——MySQL基础（一）