2019独角兽企业重金招聘Python工程师标准>>>

ib_logfile是InnoDB的事务日志文件。本文简要说明其写入时机、写入策略及如何保证数据安全。

1、 基本概念

  1. redo是物理日志,记录的是页的物理修改操作,是幂等的。
  2. ib_logfile文件个数由innodb_log_files_in_group配置决定,若为2,则在datadir目录下有两个文件,命令从0开始,分别为ib_logfile0和ib_logfile.
  3. 文件为顺序写入,当达到最后一个文件末尾时,会从第一个文件开始顺序复用。
  4. lsn: Log Sequence Number,是一个递增的整数。 Ib_logfile中的每次写入操作都包含至少1个log,每个log都带有一个lsn。在内存page修复过程中,只有大于page_lsn的log才会被使用。
  5. lsn的保存在全局内存结构log_sys中。递增数值等于每个log的实际内容长度。即如果新增的一个log长度是len,则log_sys->lsn += len.
  6. ib_logfile每次写入以512(OS_FILE_LOG_BLOCK_SIZE)字节为单位。实际写入函数 log_group_write_buf(log/log0log.c)
  7. 每次写盘后是否flush,由参数innodb_flush_log_at_trx_commit控制。

2、 log_sys介绍

log_sys是一个全局内存结构。以下说明几个成员的意义。

lsn

表示已经分配的最后一个lsn的值。

written_to_all_lsn

n表示实际已经写盘的lsn。需要这个值是因为并非每次生成log后就写盘。

flushed_to_disk_lsn

表示刷到磁盘的lsn。需要这个值是因为并非每次写盘后就flush。

buf

待写入的内容保存在buf中

buf_size

buf的大小。由配置中innodb_log_buffer_size决定,实际大小为innodb_log_buffer_size /16k * 16k。

buf_next_to_write

buf中下一个要写入磁盘的位置

buf_free

buf中实际内容的最后位置。当buf_free> buf_next_to_write时,说明内存中还有数据未写盘。

3、相关更新

用一个简单的更新语句来说明log_sys以及ib_logfile的更新内容的过程。假设我们的更新只涉及到非索引的固定长度字段。

  1. 在bufferpool中写入undo log。 对于一个单一的语句,需要先创建一个undolog头。
  2. 在bufferpool中写入undo log的实际内容。
  3. 在log_sys->buf中写入buffer page的更新内容。此处保存了更新的完整信息。
  4. 在log_sys->buf中写入启动事务(trx_prepare)的日志
  5. 将c、d更新的log内容写入ib_logfile中。
  6. 在log_sys->buf中写入事务结束(trx_commit)的日志
  7. 将f步骤的log内容写入ib_logfile中。

4、 说明

完成上述所有操作时,数据文件还没有更新。

  1. 每次写入log_sys->buf时同时更新lsn和buf_free。 每次写ib_logfile时同时更新written_to_all_lsn和buf_next_to_write;
  2. 每次写ib_logfile时以512字节为对齐,如需写入600字节,则实际写入1k。写到最后一个文件末尾则从第一个文件重复使用。
  3. 从上述流程看到,在a~d过程中若出现异常关闭,由于没有写入到磁盘中,因此整个事务放弃;若在e刚完成时出现异常关闭,虽然事务内容已经写盘,但没有提交。在重启恢复的时候,发现这个事务还没有提交,逻辑上整个事务放弃。 (重启日志中会有Found 1 prepared transaction(s) in InnoDB字样)。在g完成后出现异常关闭,则能够在重启恢复中正常提交。
  4. 在e和f之间会写mysql的bin-log,若bin-log写完前异常关闭,事务无效,bin-log写入成功后,则异常重启后能够根据bin-log恢复事务的修改。
  5. 若涉及到索引更新,在步骤c之后会增加索引更新的log。由于索引可能有merge过程,因此在merge过程中会另外增加写入一个log。但事务完全提交仍在步骤g中。索引的更新由于已经写盘,并不会因此丢失。

更改innodb_log_file_size, 解决InnoDB: ERROR: the ag...

转载于:https://my.oschina.net/anxiaole/blog/2222723

InnoDB的ib_logfile写入策略相关推荐

  1. MySQL · 性能优化· InnoDB buffer pool flush策略漫谈

    MySQL · 性能优化· InnoDB buffer pool flush策略漫谈 背景 我们知道InnoDB使用buffer pool来缓存从磁盘读取到内存的数据页.buffer pool通常由数 ...

  2. ib_logfile和mysql_bin_mysql的innodb中事务日志ib_logfile

    mysql的innodb中事务日志ib_logfile 事务日志或称redo日志,在mysql中默认以ib_logfile0,ib_logfile1名称存在,可以手工修改参数,调节 开启几组日志来服务 ...

  3. mysql myisam写入性能_(转)innodb 与 myisam 读写性能分析

    前提: mysql在5.0之前,读写性能相差很大,读性能:myisam 很强 mysql在5.0之后,差距不是很大 http://www.taobaodba.com/ 由于近期有个项目对系统性能要求很 ...

  4. mysql ib_logfile 数量_Mysql 事务日志(Ib_logfile)

    mysql的innodb中事务日志ib_logfile(0/1) 概念: 事务日志或称redo日志,在mysql中默认以ib_logfile0,ib_logfile1名称存在,可以手工修改参数,调节开 ...

  5. 后悔!我早该把这1W字详解的 InnoDB 原理给你!

    点击上方"朱小厮的博客",选择"设为星标" 当当满200-40元优惠码「 FV5YSU 」 来源:r6d.cn/Q8tM MySQL InnoDB 引擎现在广为 ...

  6. MySQL(二)InnoDB的内存结构和特性

    目录 In-Memory Structures 缓冲池 Buffer Pool 更新缓冲Change Buffer Adaptive Hash Index (redo)Log Buffer 总结 磁盘 ...

  7. 《MySQL——redo log 与 binlog 写入机制》

    目录 binlog写入机制 redo log写入机制 组提交机制实现大量的TPS 理解WAL机制 如何提升IO性能瓶颈 WAL机制告诉我们:只要redo log与binlog保证持久化到磁盘里,就能确 ...

  8. 庖丁解InnoDB之REDO LOG

    简介: 数据库故障恢复机制的前世今生一文中提到,今生磁盘数据库为了在保证数据库的原子性(A, Atomic) 和持久性(D, Durability)的同时,还能以灵活的刷盘策略来充分利用磁盘顺序写的性 ...

  9. InnoDB存储引擎--InnoDB存储引擎

    文章目录 1. InnoDB存储引擎概述 2. InnoDB存储引擎的版本 3. InnoDB体系架构 (1). 后台线程 1). Master Thread 2). IO Thread 3). Pu ...

最新文章

  1. 关于ASPNET在IIS一些问题的经验总结
  2. android 删除文件
  3. 关于C++模版的连接错误问题
  4. 分析决策树算法和逻辑回归算法的不同之处
  5. @javax.inject.Inject,新的注入依赖规范
  6. 正整数分解为几个连续自然数之和
  7. LeetCode 1389. 按既定顺序创建目标数组
  8. 字节跳动简历冷却期_【字节跳动招聘】简历这样写,才不会被秒拒
  9. 无法解析 uafxcw.lib_吉利DMS系统一周热点问题解析
  10. MyBatis的CRUD操作
  11. int CWnd::GetWindowTextW(LPTSTR,int) const”: 不能将参数 1 从“char [10]”转换为“LPTSTR”
  12. 如何使用git merge --squash?
  13. Flutter 2.5 的新特性
  14. python用matplotlib或boxplot作图的时候,中文标注无法正常显示,乱码为小方框的解决办法
  15. android 打砖块教程,scratch教程-打砖块游戏
  16. 基于Spring boot的云客服系统实现
  17. STM32的 DHT11温湿度模块+红外人体感应模块程序
  18. git 远端更新合并到本地
  19. php命名空间namespace自动载入
  20. MIT6.824环境搭建:wls+vs code

热门文章

  1. CentOS7中安装图形界面
  2. Netty4服务端和客户端实现
  3. 软件需求分层处理的多种常见方式
  4. 组织软件测试中应当避免的几个常见现象
  5. 3、Docker容器操作
  6. 计算机专业考研英语二国家线,历年考研英语国家线汇总(2009-2020)
  7. c语言中如何将select出来的字段值赋给一个变量,sql server 重命名列(字段)
  8. 神策数据荣登毕马威中国领先消费科技 50 企业
  9. PPT 下载 | 神策数据曹犟:数据驱动从方法到实践
  10. 车来了赵祺:贴近业务,是DT时代第一驱动力