mysql io depth_MySQL读写IO的操作过程解析
数据库作为存储系统,所有业务访问数据的操作都会转化为底层数据库系统的IO行为(缓存系统也可以当做是key-value的数据库),本文主要介绍访问MySQL数据库的IO流程以及IO相关的参数。
一、MySQL的文件
首先简单介绍一下MySQL的数据文件,MySQL 数据库包含如下几种文件类型:
1)数据文件 (datafile)
存放表中的具体数据的文件。
2)数据字典
记录数据库中所有innodb表的信息。
3)重做日志 (redolog)
记录数据库变更记录的文件,用于系统异常crash(掉电)后的恢复操作,可以配置多个(配置这个参数innodb_log_files_in_group)比如 ib_logfile0、 ib_logfile1。
4)回滚日志 (undolog)
也存在于mysql 的ibdata文件,用户记录事务的回滚操作。注在mysql5.6以上版本可以拆开出来,单独文件夹存在。
5)归档日志 (binlog)
事务提交之后,记录到归档日志中。
6)中继日志 (relaylog)
从master获取到slave的中转日志文件,sql_thread则会应用relay log并重放于从机器。
7)其他日志slowlolg, errorlog, querylog
这里慢日志也经常用。可以结合pt-query-digest工具和anemometer一起展示出来。
对于以上文件的IO访问顺序可以分为顺序访问 比如binlog ,redolog ,relay log是顺序读写,datafile,ibdata file是随机读写,这些IO访问的特点决定了在os 配置磁盘信息时候,如何考虑分区 ,比如顺序写可以的log可以放到SAS盘 ,随机读写的数据文件可以放到ssd或者fio高性能的存储。
二、数据访问流程
数据库访问分为两种类型, 一种是读操作,另外一种是写操作。
读操作
create table t (
id int not null primary key ,
k1 int not null,
data varchar(50),
key ind_k1(k1)
) engine=innodb default charset=utf8;
1
2
3
4
5
6
createtablet(
idintnotnullprimarykey,
k1intnotnull,
datavarchar(50),
keyind_k1(k1)
)engine=innodbdefaultcharset=utf8;
以select * from tab where k1=1 ;为例。
读操作的IO流程
1、查看缓存中是否存在id,
2、如果有则从内存中访问,否则要访问磁盘,
3、并将索引数据存入内存,利用索引来访问数据,
4、对于数据也会检查数据是否存在于内存,
5、如果没有则访问磁盘获取数据,读入内存。
6、返回结果给用户。
写操作
为了保证数据写入操作的安全性,数据库系统设置了 undo,redo 保护机制,避免因为os或者数据库系统异常导致的数据丢失或者不一致的异常情况发生。
以insert into t values(1,1,’shuiyi’);为例。
写操作的IO流程
我们假定数据在内存中,不考虑从磁盘中获取数据的情形,大致的写操作步骤:
1、先写undo log。
2、在内存更新数据,这步操作就在内存中形成了脏页,如果脏页过多,checkpoint机制进行刷新,innodb_max_dirty_pages_pct决定了刷新脏页比例。innodb_io_capacity参数可以动态调整刷新脏页的数量,innodb_lru_scan_depth这个参数决定了刷新每个innodb_buffer_pool的脏页数量。
3、记录变更到redo log,prepare这里会写事务id。innodb_flush_log_at_trx_commit决定了事务的刷盘方式。为0时,log buffer将每秒一次地写入log file中,并且log file的flush(刷到磁盘)操作同时进行。该模式下,在事务提交的时候,不会主动触发写入磁盘的操作。为1,每次事务提交时MySQL都会把log buffer的数据写入log file,并且flush(刷到磁盘)中去.为2,每次事务提交时MySQL都会把log buffer的数据写入log file.但是flush(刷到磁盘)操作并不会同时进行。该模式下,MySQL会每秒执行一次 flush(刷到磁盘)操作。
4、写入binlog这里会写入一个事务id这里有个sync_binlog参数决定多个事务进行一次性提交。
5、redo log第二阶段,这里会进行判断前2步是否成功,成功则默认commit,否则rollback。刷入磁盘操作。这里是先从脏页数据刷入到内存2M大小的doublewrite buffer,然后是一次性从内存的doublewrite buffer刷新到共享表空间的doublewrite buffer,这里产生了一次IO。然后从内存的内存的doublewrite buffer刷新2m数据到磁盘的ibd文件中,这里需要发生128次io。然后校验,如果不一致,就由共享表空间的副本进行修复。这里有个参数innodb_flush_method决定了数据刷新直接刷新到磁盘,绕过os cache。
6、返回给client。
如果有slave,第4步之后经过slave服务线程io_thread写到从库的relay log ,再由sql thread应用relay log到从库中。
关于性能?
写undo redo log ,binlog的过程中都是顺序写,都会很快的完成,随机写操作,inset_buffer功能。
对于非聚集类索引的插入和更新操作(5.5 版本及以上支持Update/Delete/Purge等操作的buffer功能),不是每一次都直接插入到索引页中,而是先插入到内存中。具体做法是:如果该索引页在缓冲池中,直接插入;否则,先将其放入插入缓冲区中,再以一定的频率和索引页合并,就可以将同一个索引页中的多个插入合并到一个IO操作中,改随机写为顺序写,大大提高写性能。
关于数据安全,这是数据库写入的重点?
1,2,3过程失败就是事务失败,因为此时还未写入磁盘,对磁盘中的数据无影响,返回事务失败给client,从库也不会受到影响。 4,5过程失败的时候或者已经将写成功返回给客户,可以根据redo log的记录来进行恢复,如果出现部分写失效请参考《double write》。
MySQL的写redo log的第一个阶段会把所有需要做的操作做完,记录数据变更,第二阶段的工作比较简单 ,只做事务提交确认。如果写入binlog成功,而第二阶段失败,MySQL启动时也会将事务进行重做,最终更新到磁盘中。MySQL 5.5+的smei sync可以更好的保障主从的事务一致性。
三、文件访问方式
IO 访问的方式分为两种顺序读写和随机读写, 在MySQL的io过程中可以以此来将数据库文件分类
顺序读写:重做日志ib_logfile*,binlog file。
随机读写:innodb表数据文件,ibdata文件。
根据系统的访问类型,对硬件做如下分类:读多(SSD+RAID)、写多FIO(flashcache)、容量密集(fio + flashcache)。
由于随机io会严重降低系统的性能,在当前的硬件水平下,可以考虑选择奖数据库服务器配置ssd/fusionio。
四、影响IO的参数和策略
影响mysql io的参数有很多个,这里罗列几个重要的参数。
innodb_buffer_pool_size
该参数控制innodb缓存大小,用于缓存应用访问的数据,推荐配置为系统可用内存的80%。
binlog_cache_size
该参数控制二进制日志缓冲大小,当事务还没有提交时,事务日志存放于cache,当遇到大事务cache不够用的时,mysql会把uncommitted的部分写入临时文件,等到committed的时候才会写入正式的持久化日志文件。
innodb_max_dirty_pages_pct
该参数可以直接控制Dirty Page在BP中所占的比率,当dirty page达到了该参数的阈值,就会触发MySQL系统刷新数据到磁盘。
innodb_flush_log_at_trx_commit
该参数确定日志文件何时write、flush。
为0,log buffer将每秒一次地写入log file中,并且log file的flush(刷到磁盘)操作同时进行.该模式下,在事务提交的时候,不会主动触发写入磁盘的操作。
为1,每次事务提交时MySQL都会把log buffer的数据写入log file,并且flush(刷到磁盘)中去.
为2,每次事务提交时MySQL都会把log buffer的数据写入log file.但是flush(刷到磁盘)操作并不会同时进行。该模式下,MySQL会每秒执行一次 flush(刷到磁盘)操作。
注意:由于进程调度策略问题,这个“每秒执行一次flush(刷到磁盘)操作”并不是保证100%的“每秒”。
sync_binlog
sync_binlog的默认值是0,像操作系统刷其他文件的机制一样,MySQL不会同步到磁盘中去而是依赖操作系统来刷新binary log。
当sync_binlog =N (N>0) ,MySQL 在每写 N次 二进制日志binary log时,会使用fdatasync()函数将它的写二进制日志binary log同步到磁盘中去。
innodb_flush_method
该参数控制日志或数据文件如何write、flush。可选的值为fsync,o_dsync,o_direct,littlesync,nosync。
数据库的I/O是一个很复杂和细致的知识层面,涉及数据库层和OS层面的IO写入策略,也和硬件的配置有关,更详细看MySQL InnoDB磁盘I/O优化。
如果您觉得本站对你有帮助,那么可以支付宝扫码捐助以帮助本站更好地发展,在此谢过。
mysql io depth_MySQL读写IO的操作过程解析相关推荐
- mysql io队列_网易视频云经验分享MYSQL 5.5 的IO控制
网易视频云是网易倾力打造的一款基于云计算的分布式多媒体处理集群和专业音视频技术,为客户提供稳定流畅.低时延.高并发的视频直播.录制.存储.转码及点播等音视频的PASS服务.在线教育.远程医疗.娱乐秀场 ...
- 【mysql进阶-彩蛋篇】深入理解顺序io和随机io(全网最详细篇)
MySql系列整体栏目 内容 链接地址 [一]深入理解mysql索引本质 https://blog.csdn.net/zhenghuishengq/article/details/121027025 ...
- linux下测试磁盘的读写IO速度-简易方法
linux下测试磁盘的读写IO速度-简易方法 参考资料: https://blog.csdn.net/zqtsx/article/details/25487185 一:使用hdparm命令 这是一个是 ...
- mysql io 100_MySQL服务器 IO 100%的分析与优化方案
压力测试过程中,如果因为资源使用瓶颈等问题引发最直接性能问题是业务交易响应时间偏大,TPS逐渐降低等.而问题定位分析通常情况下,最优先排查的是监控服务器资源利用率,例如先用TOP 或者nmon等查看C ...
- Android开发之Java的IO流读写的十种方法
直接上代码: package com.xiayiye.honorfirst.io;import java.io.BufferedInputStream; import java.io.Buffered ...
- C# IO流读写文件操作
C# IO流读写文件操作 1.创建文件流 2.创建文件读写器 3.执行读写操作 4.关闭文件读写器和文件流 1.创建文件流 string filePath = AppDomain.CurrentDom ...
- [存储-测试工具]vdbench文件系统性能测试顺序IO混合读写配置模板
vdbench工具在50407版本中在文件系统顺序IO混合读写时,不能使用参数rdpct来直接控制读写比例,需要使用新的参数skew来控制读写比例,直接上干货,文件系统性能测试顺序大文件测试配置如下: ...
- java文件读写 outputstream_java IO文件读写例子(OutputStream,InputStream,Writer,Reader)...
一,File创建文件 File file = new File("D:" + File.separator + "yi.txt"); 代码示例: package ...
- IO 端口和IO 内存(原理篇)
CPU要想控制所链接的设备,不可避免需要通过IO(input/output)与外设打交道,CPU通过IO操纵设备上的寄存器等来实现对 设备的控制.一般厂商按照IO空间性质将IO划分为IO 端口和IO内 ...
最新文章
- 4.7 参数 vs 超参数-深度学习-Stanford吴恩达教授
- ABAP和XML数据格式互相转换的两种方式
- python中print是什么意思_python中print什么意思
- osgi导出包和非导出包_了解如何解决OSGI捆绑包
- Android布局怎么画图形,Android开发者的图形化布局
- LeetCode 173. 二叉搜索树迭代器(中序遍历)
- 量子计算机怎么算有用,如何在量子计算机上实现经典计算
- vue多选框点击其中一个控制div隐藏_Vue 零碎知识点
- 刚刚!微信8.0版本重大更新!没想到这么多新功能
- VMware虚拟机与Windows文件共享
- foremost windows_windows上安装foremost - kalibb
- python数组a减去数组b的简便操作
- 深度学习基础之-2.3简单的神经网络(单个输入/多个输入)做线性回归+特征值归一化
- [配置文件]_start.wzd
- asp.net师电子化信息库的设计与实现(源代码+论文)ASP.NET汽车销售管理系统的设计与开发(源代码+论文)
- 红烧茄条————————炒茄子不费油却很好吃的办法
- 简述什么是静态测试、动态测试、黑盒测试、白盒测试、α测试、 β测试?
- 性能服务器800,IBM企业存储服务器 ESS800 Global Mirror ®( 异步PPRC)性能研究
- Excel在计算机中的应用,计算机在化学中的应用 主要由excel处理.pdf
- 物联卡不用了怎么处理,物联卡不想用了可以丢掉吗