首先,我们先来看看一次查询/更新语句流程图

mysql查询/更新流程图

本文会将重点放在执行器<->存储引擎之间的交互

mysql不是每次数据更改都立刻写到磁盘,而是会先将修改后的结果暂存在内存中,当一段时间后,再一次性将多个修改写到磁盘上,减少磁盘io成本,同时提高操作速度。

MySQL通过WAL(write-ahead logging)技术保证事务

在同一个事务中,每当数据库进行修改数据操作时,将修改结果更新到内存后,会在redo log添加一行记录记录“需要在哪个数据页上做什么修改”,并将该记录状态置为prepare,等到commit提交事务后,会将此次事务中在redo log添加的记录的状态都置为commit状态,之后将修改落盘时,会将redo log中状态为commit的记录的修改都写入磁盘。

过程如下图

更新流程

redo log记录方式

redolog的大小是固定的,在mysql中可以通过修改配置参数innodb_log_files_in_group和innodb_log_file_size配置日志文件数量和每个日志文件大小,redolog采用循环写的方式记录,当写到结尾时,会回到开头循环写日志。

如下图

redolog记录方式

write pos表示日志当前记录的位置,当ib_logfile_4写满后,会从ib_logfile_1从头开始记录;check point表示将日志记录的修改写进磁盘,完成数据落盘,数据落盘后checkpoint会将日志上的相关记录擦除掉,即write pos->checkpoint之间的部分是redo log空着的部分,用于记录新的记录,checkpoint->write pos之间是redo log待落盘的数据修改记录。关注公众号Java面试那些事儿,回复关键字面试,领取大厂最新面试题。当writepos追上checkpoint时,得先停下记录,先推动checkpoint向前移动,空出位置记录新的日志。

有了redo log,当数据库发生宕机重启后,可通过redo log将未落盘的数据恢复,即保证已经提交的事务记录不会丢失。

有了redo log,为啥还需要binlog呢?

1、redo log的大小是固定的,日志上的记录修改落盘后,日志会被覆盖掉,无法用于数据回滚/数据恢复等操作。
2、redo log是innodb引擎层实现的,并不是所有引擎都有。

基于以上,binlog必不可少。

1、binlog是server层实现的,意味着所有引擎都可以使用binlog日志

2、binlog通过追加的方式写入的,可通过配置参数max_binlog_size设置每个binlog文件的大小,当文件大小大于给定值后,日志会发生滚动,之后的日志记录到新的文件上。
3、binlog有两种记录模式,statement格式的话是记sql语句, row格式会记录行的内容,记两条,更新前和更新后都有。

binlog和redo log必须保持一致,不允许出现binlog有记录但redolog没有的情况,反之亦然。之前说过在一个事务中,redolog有prepare和commit两种状态,所以,在redolog状态为prepare时记录binlog可保证两日志的记录一致,下图列出各种情况来说明。

现在我们再来看看整个完整的流程图

更新流程

相关参数设置建议:

1、innodb_flush_log_at_trx_commit:设置为1,表示每次事务的redolog都直接持久化到磁盘(注意是这里指的是redolog日志本身落盘),保证mysql重启后数据不丢失。
2、sync_binlog:设置为1,表示每次事务的binlog都直接持久化到磁盘(注意是这里指的是binlog日志本身落盘),保证mysql重启后binlog记录是完整的。

作者:Mr林_月生

来源:https://www.jianshu.com/p/4bcfffb27ed5

你还精通MySQL,竟然连bin log、redo log都不知道!相关推荐

  1. MYSQL专题-MySQL三大日志binlog、redo log和undo log

    日志是mysql数据库的重要组成部分,记录着数据库运行期间各种状态信息.mysql日志主要包括重做日志(redo log).回滚日志(undo log).二进制日志(bin log).错误日志(err ...

  2. 必须了解的mysql三大日志-binlog、redo log和undo log

    来源:https://juejin.im/post/6860252224930070536 日志是 mysql 数据库的重要组成部分,记录着数据库运行期间各种状态信息.mysql日志主要包括错误日志. ...

  3. 都 2021 年了还不会连 ES6/ES2015 更新了什么都不知道吧

    都 2021 年了还不会连 ES6/ES2015 更新了什么都不知道吧 es6 / es2015 let & const 块级作用域 解构 数组解构 对象解构 模板字符串 Math + Num ...

  4. bin log,redo log以及undo log详解

    1 bin log 1.1 定义 bin log应该说是Mysql里最核心的日志,是MySQL数据库级别的文件,记录对MySQL数据库各种引擎下执行修改的所有操作(包括DDL和DML语句),不会记录s ...

  5. 原创 MySQL探秘(八):基于Redo Log和Undo Log的MySQL崩溃恢复流程(一致性)

    黑盒下的更新数据流程 当我们查询数据的时候,会先去Buffer Pool中查询.如果Buffer Pool中不存在,存储引擎会先将数据从磁盘加载到Buffer Pool中,然后将数据返回给客户端:同理 ...

  6. MySQL深度剖析之undo log redo log binlog专题(2021)

    因为每次对磁盘随机读写影响性能,尤其是高并发的时候,所以引入了Buffer Pool, 即只要更新Buffer Pool中的记录,则算更新成功,那如果更新完了还没有flush到磁盘则宕机了,此时内存的 ...

  7. 还自认为很牛逼...简直就是什么都不知道!6年的软件测试 怕不是白瞎了???

    最近看了很多简历,很多候选人年限不小,但是做的都是一些非常传统的项目,想着也不能通过简历就直接否定一个人,何况现在大环境越来 越难,大家找工作也不容易,于是就打算见一见. 在沟通中发现,由于年限不小, ...

  8. batch spring 重复执行_一个3年老javaer竟然连Spring的事务管理都不知道,惊呆了

    1.事务介绍 事务(Transaction),一般是指要做的或所做的事情.在计算机术语中是指访问并可能更新数据库中各种数据项的一个程序执行单元(unit). 这里我们以取钱的例子来讲解:比如你去ATM ...

  9. 【转】【MySQL】运行原理(四):重做日志(redo log),回滚日志(undo log),二进制日志(binlog)

    MySQL中有六种日志文件,分别是:重做日志(redo log).回滚日志(undo log).二进制日志(binlog).错误日志(errorlog).慢查询日志(slow query log).一 ...

  10. 必须了解的MySQL三大日志:binlog、redo log和undo log

    点击上方"方志朋",选择"设为星标" 回复"666"获取新整理的面试文章 作者: 六点半起床 juejin.im/post/68602522 ...

最新文章

  1. 针对Android Tv的自定义RecyclerView2 0横竖向连动
  2. 移动硬盘上划分linux分区,Linux下磁盘分区和移动硬盘的挂载方法有哪些?
  3. Matlab矩阵填充--Matlab interp2
  4. 网友怒喷运营商“为推广5G故意调慢4G网速!”官方紧急回应!
  5. 使用AspectJ注解技术实现AOP功能
  6. Kafka的10道基础面试题
  7. 量子计算机 计算混沌,深入了解量子混沌可能是量子计算机的关键
  8. python二进制图片压缩传输_python 中 base64 压缩图片,用post传送
  9. ARM学习篇 中断定时理解
  10. 这个星期压力貌似比较大啊!
  11. java 里面怎么截取倒数第几个字_Java反射是什么
  12. 当前页面excel导出_系统地学习Excel第03课,Excel的工作界面
  13. Linux ag命令
  14. chrome实现屏幕取词并翻译
  15. 清朝12位皇帝简介【顺康雍乾嘉道咸同光宣】
  16. 00. 微服务架构沉思录
  17. 关于java面试被虐的痛苦经历,你有体验过吗?
  18. win10安装Geany编辑器
  19. 【笔试真题】字节跳动产品岗笔试主观题解析!!
  20. cc32a_demo-32dk2j_cpp_纯虚函数与抽象类-txwtech

热门文章

  1. Pyhont 高阶函数
  2. 【Win 10 应用开发】手写识别
  3. Custom Corporate Background for NetBeans Platform Applications
  4. div+css 背景图片的定位取图问题详解
  5. [RHCE033]unit9vim工具的使用
  6. 苹果mac视觉效果和动态图形设计软件:After Effects 2022 (ae 2022)
  7. 只需一个设置命令隐藏 MacBook Pro 浏海
  8. Affinity Publisher for Mac排版设计工具
  9. RightFont 5字体管理工具新手使用指南
  10. 如何设置Parallels Desktop游戏模式?