MySQL实战—更新过程
本文属于个人备忘录,主要是极客时间《MySQL实战45讲》学习笔记。
MySQL实战—更新过程
一条查询语句的执行过程一般是经过连接器、分析器、优化器、执行器等功能模块,最后到达存储引擎。那么更新语句又是如何执行?
和查询流程不同的是,更新流程涉及两个重要的日志模块:redo log(重做日志)和 binlog(二进制日志)。
redo log
redo log通常是物理日志,记录的是数据页的物理修改,而不是某一行或某几行的修改,它用来恢复提交后的物理数据页(恢复数据页,且只能恢复到最后一次提交的位置)。
如果MySQL每一次的更新操作都需要写进磁盘,整个过程IO成本会很高。使用redo log能提升更新效率,即WAL技术。
WAL
- Write-Ahead Logging
- 先写日志,再写磁盘
更新记录
- InnoDB引擎先把记录写到redo log里面,并更新内存
- InnoDB会在适当的时候,比如系统空闲时,将操作记录更新到磁盘里
在相同的数据量下,采用WAL的数据库系统在事务提交时,磁盘写操作只有传统的回滚日志的一半左右,大大提高了数据库磁盘IO操作的效率,从而提高了数据库的性能。
redo log
redo log大小固定,可配
- 是InnoDB引擎的日志
- 比如一组4个文件,每个文件大小1GB
- 从头开始写,写到末尾又回到开始循环写
- write pos是当前记录的位置,一边写一边后移,写到第 3 号文件末尾后就回到 0 号文件开头
- checkpoint是当前要擦除的位置,也是往后推移并且循环的,擦除记录前要把记录更新到数据文件
- write pos和checkpoint之间是可写部分,用来记录新的操作
- 如果write pos追上Checkpoint,表示没有可写位置了,此时不能执行新的更新,需要停下来擦掉一些记录(将记录更新到磁盘),将checkpoint向前推进
crash-safe
- 通过redo log,InnoDB保证即使数据库发生异常重启,之前提交的记录都不会丢失,这个能力称为crash-safe
更新过程
以下述操作为例。
mysql> create table T(ID int primary key, c int);
mysql> update T set c=c+1 where ID=2;
执行器通过引擎取ID=2这一行。
- ID是主键,引擎直接用树搜索找到这一行
- 如果ID=2这一行所在的数据页本来就在内存中,就直接返回给执行器;
- 否则,需要先从磁盘读入内存,然后再返回。
- 执行器将引擎返回的行数据的这个值加1,即N变成N+1,得到新的一行数据,再调用引擎接口写入新行。
- 引擎将这行新数据更新到内存中,同时将这个更新操作记录到redo log里,此时redo log处于prepare状态。然后告知执行器执行完成了,随时可以提交事务。
- 执行器生成这个操作的binlog,并把binlog写入磁盘。
- 执行器调用引擎的提交事务接口,引擎把刚写入的redo log改成提交(commit)状态,更新完成。
执行流程如下图。浅色步骤在InnoDB内部执行,深色步骤在执行器中执行。
binlog
binlog,即二进制日志,是一个二进制文件,记录了对数据库执行更新的所有操作,并且记录了语句发生时间、执行时长、操作数据等信息。但不记录SELECT、SHOW等查询SQL语句。
二进制日志主要用于数据恢复和主从复制,及审计操作。
- max_binlog_size:日志文件大小上限,二进制日志文件后缀名会由 mysql 自动拼接数字,达到此参数设置大小则写入另一个文件,同时后缀 + 1,所以在设置 log-bin 参数时仅填写路径和文件名即可,后缀名省略
是否开启binlog
log-bin:设置日志文件的位置,设置此参数同时开启日志记录,默认放在 mysql data目录下
mysql> show variables like 'log_bin';
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| log_bin | ON |
+---------------+-------+
1 row in set (0.02 sec)
查看binlog
binlog不能直接查看。可以通过官方提供的mysqlbinlog工具查看。
- 确认日志位置
mysql> show master logs;
+------------------+-----------+
| Log_name | File_size |
+------------------+-----------+
| mysql-bin.000120 | 47533445 |
| mysql-bin.000121 | 57556996 |
| mysql-bin.000122 | 190963566 |
+------------------+-----------+
3 rows in set (0.01 sec)mysql>
mysql>
mysql> show master status;
+------------------+-----------+--------------+------------------+--------------------------------------------------------------------------------------------------------------------------------------------------+
| File | Position | Binlog_Do_DB | Binlog_Ignore_DB | Executed_Gtid_Set |
+------------------+-----------+--------------+------------------+--------------------------------------------------------------------------------------------------------------------------------------------------+
| mysql-bin.000122 | 190964654 | | | a30ccda1-22af-11e9-850a-6c92bf668356:4512526-4520657,
df123bc8-3139-11ea-9587-6c92bf9bf658:1-6937,
e001bcc0-3139-11ea-a763-ac853d9f52c8:1-801427 |
+------------------+-----------+--------------+------------------+--------------------------------------------------------------------------------------------------------------------------------------------------+
1 row in set (0.00 sec)
- 输出文件内容
# 直接查看
mysqlbinlog mysql-bin.xxx //xxx表示文件编号# 输出到指定文件
mysqlbinlog mysql-bin.xxx > mysqllog.log# 指定时间段输出
mysqlbinlog --start-datetime '2020-01-08 00:00:00' --stop-datetime '2020-01-08 01:00:00' mysql-bin.xxx > mysqllog.log
如果执行过程出现以下提示,可暂时添加--no-defaults参数跳过检查。
mysqlbinlog:[ERROR] unknown variable 'default-character-set=utf8'
更多内容,请参考https://dev.mysql.com/doc/refman/5.7/en/binary-log.html
两阶段提交
写入redo log分为两个步骤
- prepare
- commit
即,两阶段提交。
为什么需要两阶段提交?
redo log和binlog是两个独立的逻辑,如果不用两阶段提交,要么就是先写完redo log再写binlog,要么反过来。
以上述更新为例。假设当前ID=2,字段c的值为0,并假设执行update过程中写完第一个日志后,发生了crash。看看两种方式会发生什么情况。
先写redo log后写binlog
- 假设redo log写完,binlog没有写完的时候,MySQL 进程异常重启
- redo log写完之后,系统即使崩溃,仍然能够把数据恢复回来,所以恢复后这一行c的值是 1
- 但由于binlog没写完就crash了,这时候binlog里面就没有记录这个语句。因此,之后备份日志的时候,存起来的binlog里面就没有这条语句。
- 如果需要用这个binlog来恢复临时库的话,由于这个语句的binlog丢失,这个临时库就会少了这一次更新,恢复出来的这一行c的值就是0,与原库的值不同。
- 出现不一致
先写binlog后写redo log
- 假设binlog写完之后,redo log没有写完的时候crash
- 由于redo log还没写,崩溃恢复以后这个事务无效,所以这一行c的值是0。
- 但是 binlog 里面已经记录了“把c从0改成1”这个日志。
- 后续用binlog恢复的时候就多了一个事务出来,恢复出来的这一行c的值就是 1,与原库的值不同。
- 也出现不一致
可以看出,如果不使用“两阶段提交”,数据库的状态有可能和用binlog恢复出来的库的状态不一致。
原文链接
本文为云栖社区原创内容,未经允许不得转载。
MySQL实战—更新过程相关推荐
- MySQL实战45讲学习笔记
文章目录 MySQL实战45讲-学习笔记 01 基础架构:一条SQL查询语句是如何执行的? mysql逻辑架构 连接器 查询缓存 分析器 优化器 执行器 02 日志系统:一条SQL更新语句如何执行 r ...
- mysql 实战 45讲 学习笔记 基础知识 原理剖析
MySQL 实战45讲 持续更新中~ 00讲 开篇 我们知道如何写出逻辑正确的SQL语句来实现业务目标,却不确定这个语句是不是最优的 我们听说了一些使用数据库的最佳实践,但是更想了解为什么这么做 我们 ...
- MySQL 实战45讲--笔记
文章目录 MySQL 实战45讲-->笔记 开篇词 基础篇(8讲) 01 | 基础架构:一条SQL查询语句是如何执行的? 1.1 SQL 语句在 MySQL 的各个功能模块中的执行过程. 依次看 ...
- MySQL实战第十五讲-日志和索引相关问题
1. 日志相关问题 我在第 2 篇文章<MySQL实战第二讲 - 一条SQL更新语句是如何执行的?>中,和你讲到 binlog(归档日志)和 redo log(重做日志)配合崩溃恢复的时候 ...
- php数据库访问辅助类,php+MySQL实战案例【二】php数据库辅助类
前言 在学习php的时候需要经常对mysql数据库进行增删改查操作,为了减少冗余代码,我们把数据操作的方法封装成一个php类.在不同的业务场景需要用到数据库表的数据操作时,只需在php文件开头引入我们 ...
- php mysql删除失败_php+MySQL实战案例【七】数据编辑、删除
本节内容中讲解用户管理模块中的修改用户信息和删除用户. 修改用户信息: 可对选择的用户记录进行编辑,可修改用户名.密码.性别.手机.邮箱和地址信息. 删除用户信息: 将列表中指定的用户进行删除操作. ...
- MySQL实战 | 01 当执行一条 select 语句时,MySQL 到底做了啥?
原文链接:当执行一条 select 语句时,MySQL 到底做了啥? 也许,你也跟我一样,在遇到数据库问题时,总时茫然失措,想重启解决问题,又怕导致数据丢失,更怕重启失败,影响业务. 就算重启成功了, ...
- 第5章--电商项目-mysql实战--数据库主从配置
第5章–电商项目-mysql实战 问题1:如何解决单点问题??? 解决方法-–MYSQL主从复制架构 步骤:配参数 在master服务器上建立复制账号 初始化Slave数据 启动基于日志点的复制链路 ...
- centos mysql 实战 第一节课 安全加固 mysql安装
centos mysql 实战 第一节课 安全加固 mysql安装 percona名字的由来=consultation 顾问+performance 性能=per con a mysql ...
最新文章
- 香港浸会大学张璐博士和卞兆祥教授联合招聘生物信息学博士后
- php递归函数return会出现无法正确返回想要值的情况
- SpringBoot中使用thymeleaf的trim方法进行判断字符串是否相等
- ACL 2020 | 多跳问答的基于对齐的无监督迭代解释检索方法
- spark中的println失效问题解决
- NodeMCU学习(三) : 进入网络世界
- Java常用设计模式————建造者模式
- 文件包含原理及本地文件包含漏洞演示(本地文件,远程包含文件的测试)
- 面向对象七大设计原则(转)
- ImportError: No module named matplotlib.pyplot
- Win10搜索框图案有广告的解决办法
- 华硕笔记本linux触摸板驱动,华硕触摸板驱动,手把手教你如何在华硕官网触控板驱动...
- 【约束优先级问题二】动态高度cell
- Odb文件(Abaqus)数据结构的一些思考
- 2014计算机基础知识,2014年计算机基础知识练习题240_甘肃中公教育
- 在MySQL命令行下如果输错了命令怎么办?
- xo存放年限_XO酒的保质期怎么辨别 ?
- 关于fork()函数的作用
- IT人才外包的驻场外派流程是怎样的?
- 开源向左,自研向右,100%自研的QingStor存储再升级
热门文章
- Java中高效判断数组中是否包含某个元素
- android四周阴影效果_帮助独立开发者轻松创建令人惊叹的产品视觉效果
- 华为usg6000配置手册_带你了解防火墙安全区域的作用及简单的配置,小白不要错过了...
- 如何使用Python操作MySQL数据库
- 【LeetCode笔记】141. 环形链表(Java、快慢指针、链表)
- python 功能化模块_【软件测试教程】Python模块化以及内置模块的使用
- python gridsearch_python gridsearch中的内存错误
- php 类常量用法,php类常量用法实例分析
- 计算机网络 --- 局域网中的以太网
- pandas 第一行_用Excel表格带你学习pandas最核心的处理操作,不再害怕条件统计