在文件log 加入commit id_从物理文件理解InnoDB Redo Log
导读
作为MySQL DBA都应该知道,Redo Log是可被覆盖的,是ACID中的D的最重要的构成部分,也就是关系型数据库中的WAL中的L。
Redo Log记录的是redo,那么redo是什么呢?通俗来讲,redo记录的是对应的记录改变的物理操作。说实话,过去的很长一段时间内,我对redo的认识也仅限于此,并没有好好深入理解redo记录的到底是什么。这次从redo的物理结构上深入理解下redo到底是什么。
Redo Log逻辑&物理结构
从逻辑上来讲,redo log记录是连续递增的,但是对应到物理文件就不一样了,考虑到磁盘空间,redo log被设计成了多个可循环写入的文件。InnoDB要求Redo Log,文件至少有2个,初始文件为 ib_logfile0
和 ib_logfile1
, ib_logfile0
写完以后写 ib_logfile1
,等到 ib_logfile1
也写完了,从头又开始写 ib_logfile0
,这样就形成了一个环形写入的结构。但是覆盖写入的前提是要确定哪个位置点是可以覆盖写的,哪些位置是不能覆盖写的,这个就是check point的工作了,关于checkpoint可以关注我上一篇文章《MySQL Checkpoint》。
Log File物理结构
从 ib_logfile0
和 ib_logfile1
这两个文件的物理结构可以看出,在Log Header部分还是有些许差异的, ib_logfile0
会多一些额外的信息,主要是checkpoint信息。
并且每个Block的单位是512字节,对应到磁盘每个扇区也是512字节,因此redo log写磁盘是原子写,保证能够写成功,而不像index page一样需要double write来保证安全写入。
我们依次从上到下来看每个Block的结构
Log File Header Block
Log Goup ID,可能会配置多个redo组,每个组对应一个id,当前都是0,占用4字节
Start LSN,这个redo log文件开始日志的lsn,占用8字节
Log File Number,总是为0,占用4字节
Created By,备份程序所占用的字节数,占用32字节
另外在ib_logfile0中会有两个checkpoint block,分别是 LOG_CHECKPOINT_1
/ LOG_CHECKPOINT_2
,两个记录InnoDB Checkpoint信息的字段,分别从文件头的第二个和第四个block开始记录,并且只在每组log的第一个文件中存在,组内其他文件虽然没有checkpoint相关信息,但是也会预留相应的空间出来。这里为什么有两个checkpoint的呢?原因是设计为交替写入,避免因为介质失败而导致无法找到可用的checkpoint的情况。
Log blocks
log block结构分为日志头段、日志记录、日志尾部
Block Header,占用12字节
Data部分
Block tailer,占用4字节
Block Header
这个部分是每个Block的头部,主要记录的块的信息
Block Number,表示这是第几个block,占用4字节,是通过LSN计算得来的,占用4字节
Block data len,表示该block中有多少字节已经被使用了,占用2字节
First Rec offet,表示该block中作为第一个新的mtr开始的偏移量,占用2字节
Checkpoint number,表示该log block最后被写入时的检查点的值,占用4字节
Data部分
这部分才开始真正记录我们理解的redo log,实际真正可用字节数为512-12-4=496字节,用户的redo是以一条一条的记录存放在这个block的data部分,并且一条redo记录可能会占用多个block
Block tailfer
tailer部分就比较简单了,只是记录一个checksum值,用于正确性校验,占用4字节
Log Record
没错,redo记录就是这个结构,分为头部、body部分
通用header
redo_log_type
,重做日志的类型space ID,表空间ID
Page Numer,用于定位哪个page
redo包括几种类型,M_LOG_WRITE_1BYTE、M_LOG_WRITE_2BYTE、M_LOG_WRITE_4BYTE和M_LOG_WRITE_STRING等,其头部格式如下所示
一条完整的INSERT redo record
关于LSN
LSN几乎是redo中最重要的概念之一了,LSN表示redo的写入量,标识了checkpoint的位置,标识了page的版本。LSN不仅存在与redo log中,还存在于每个page中。在每个page的头部,有一个 FIL_PAGE_LSN
,记录了page的LSN,表示该页最后刷新时的LSN大小。redo中记录的是每个page的日志,因此page中的LSN用来判断是否需要进行恢复操作,这对于MySQL的崩溃恢复及其重要。
关于redo刷盘机制
大概有以下几种情况会触发redo log刷盘
log buffer空间用完了,这就会将已经产生的log buffer中的日志刷到磁盘中,这是最普遍的一种方式;
master线程在后台每秒钟刷一次,将当前log buffer中的日志刷到磁盘中;
每次执行DML操作时,都会主动检查日志空间是否足够,如果使用空间的量已经超过了一个预设的经验值,就会主动刷日志,以保证在后面真正执行时,不会再执行过程中被动的刷盘,但这里只会是写文件(写入OS缓冲中)不会刷盘
在做checkpoint的时候,要保证所有要刷的页面中LSN值最小的日志已经刷入到磁盘,不然,如果此时数据库宕机,日志不存在,但数据页面已经被修改,从而导致数据不一致,就违背了写日志的原则;
提交逻辑事务时,会因为参数
innodb_flush_log_at_trx_commit
值的不同,产生不同的行为。如果设置0,则在事务提交时,不会去刷日志缓冲区,等待master thread以固定频率去刷盘,这种设置是最危险的 如果设置2,则在事务提交时会将日志写入到文件中,但不会去刷盘,只要操作系统不挂,即使数据库挂了,数据还是不会丢失 如果设置1,则在事务提交的时候将日志写入文件同时fsync,保证redo log落盘,生产环境主库强烈建议设置为1
几个建议:
innodb_flush_log_at_trx_commit
设置为1redo log建议设置2G,组数建议为3组以上,避免因为redo log切换导致性能抖动
redo log buffer建议设置32M以上(根据实际情况至少能够缓存1秒的redo)
在文件log 加入commit id_从物理文件理解InnoDB Redo Log相关推荐
- mysql innodb redolog_MySQL · 引擎特性 · InnoDB redo log漫游(转)
前言 InnoDB 有两块非常重要的日志,一个是undo log,另外一个是redo log,前者用来保证事务的原子性以及InnoDB的MVCC,后者用来保证事务的持久性. 和大多数关系型数据库一样, ...
- 老白理解的REDO LOG
理解REDO LOG(1) 介质恢复和实例恢复的基本概念 REDO LOG是Oracle为确保已经提交的事务不会丢失而建立的一个机制.实际上REDO LOG的存在是为两种场景准备的,一种我们称之为实例 ...
- mysql innodb log_MySQL · 引擎特性 · InnoDB redo log漫游
前言 InnoDB 有两块非常重要的日志,一个是undo log,另外一个是redo log,前者用来保证事务的原子性以及InnoDB的MVCC,后者用来保证事务的持久性. 和大多数关系型数据库一样, ...
- 新特性速递 | InnoDB redo log archiving(归档)
 导读 MySQL 8.0.17开始支持的redo log归档能干嘛用呢,好吃吗 今天,MySQL 8.0.17发布了,看了下release note,发现果真如之前预期的那样,恢复了redo lo ...
- mysql redo log 数据恢复_MySQL 怎么样恢复丢失的数据?redo log 写磁盘的过程
在生活中,你一定有过类似这样的经历: 比如部门发礼品.或者说学校发课本.如果在发放的时候,大家一窝蜂的涌了过来,毕竟双拳双敌四手,渐渐你就招架不过来. 为了工作更好做,你会有几个选择,提前打印个名单, ...
- InnoDB redo log格式-物理log
在页面上修改N个字节,可以看做物理log.包括以下几种类型:MLOG_WRITE_STRING.MLOG_8BYTES.MLOG_2BYTES.MLOG_1BYTES.MLOG_4BYTES.各种页链 ...
- oracle表空间文件压缩,收缩Oracle表空间物理文件
在Oracle中,经常有这样的情况,由于误操作,使某个表空间过大.delete 方法不会清除高水位线,用了truncate之后,虽然高水位线已经清除,但是扩充的表空间并没有缩小,所以应该用下面的方法进 ...
- mysql 日志重做,mysql 物理日志之redo log(重做日志)原理和介绍
重做日志用来实现事务的持久性,即事务ACID中的D. InnoDB是事务的存储引擎,其通过 Force Log at Commit机制实现事务的持久性,即当事务提交(COMMIT)时,必须先将该事务的 ...
- MYSQL专题-MySQL三大日志binlog、redo log和undo log
日志是mysql数据库的重要组成部分,记录着数据库运行期间各种状态信息.mysql日志主要包括重做日志(redo log).回滚日志(undo log).二进制日志(bin log).错误日志(err ...
最新文章
- [笔记]C#基础入门(八)——C#标识符的命名规则
- 《Linux企业应用案例精解》一书已由清华大学出版社出版
- 动态规划-时间规整算法
- 为什么是容器,Docker和Kubernetes?
- STM32F1笔记(六)独立看门狗IWDG
- Oracle学习之merge
- python实训目的意义_Python实训第二天--基础知识2
- 120天的努力,从牵引力教育开始逆袭的!
- QQ网页链接打开本地QQ.exe原理
- 高性能工业级16位高精度UART转PWM接口SOC芯片
- 119. PHP 性能问题(2)
- 数学建模matlab视频教程,matlab编程教程_求matlab视频教程,主要用于数学建模方面的...
- Android 触摸事件转换为鼠标事件
- python输出数字三角形_蓝桥杯:数字三角的Python解决方案,三角形,之,解答
- 中国各个朝代的历史地图
- 十年磨一剑,今日把示君:架构师分享从一名码农到如今的成长经验
- 四十六、Fluent壁面函数的选取依据
- 蓝牙模块HC05遇到的一些常见的问题
- labview学习笔记--3D模型(3)
- JavaScript字符串对象
热门文章
- 朱永官等综述土壤生态学研究前沿
- QIIME 2用户文档. 9数据导入Importing data(2019.7)
- 植保口的面上项目共153项,系统总结
- Gut-2018-菌群标志物有望诊断早期肝癌
- 16S+功能预测也能发Sciences:尸体降解过程中的微生物组
- pandas使用stack函数、map函数、unstack函数以及字典同时替换dataframe多个数据列的内容
- R语言ggplot2可视化使用ggsave将可视化图像结果保存为SVG文件实战
- R语言dplyr包获取dataframe分组聚合的最大值实战(Maximum Value by Group)
- R语言distVincentySphere函数计算大圆距离实战(Great Circle Distance)
- R语言apropos函数查找包含特定字符的函数、find函数查找函数所在的位置实战