MySQL · 性能优化· InnoDB buffer pool flush策略漫谈
MySQL · 性能优化· InnoDB buffer pool flush策略漫谈
背景
我们知道InnoDB使用buffer pool来缓存从磁盘读取到内存的数据页。buffer pool通常由数个内存块加上一组控制结构体对象组成。内存块的个数取决于buffer pool instance的个数,不过在5.7版本中开始默认以128M(可配置)的chunk单位分配内存块,这样做的目的是为了支持buffer pool的在线动态调整大小。
Buffer pool的每个内存块通过mmap的方式分配内存,因此你会发现,在实例启动时虚存很高,而物理内存很低。这些大片的内存块又按照16KB划分为多个frame,用于存储数据页。
虽然大多数情况下buffer pool是以16KB来存储数据页,但有一种例外:使用压缩表时,需要在内存中同时存储压缩页和解压页,对于压缩页,使用Binary buddy allocator算法来分配内存空间。例如我们读入一个8KB的压缩页,就从buffer pool中取一个16KB的block,取其中8KB,剩下的8KB放到空闲链表上;如果紧跟着另外一个4KB的压缩页读入内存,就可以从这8KB中分裂4KB,同时将剩下的4KB放到空闲链表上。
为了管理buffer pool,每个buffer pool instance 使用如下几个链表来管理:
- LRU链表包含所有读入内存的数据页;
- Flush_list包含被修改过的脏页;
- unzip_LRU包含所有解压页;
- Free list上存放当前空闲的block。
另外为了避免查询数据页时扫描LRU,还为每个buffer pool instance维护了一个page hash,通过space id 和page no可以直接找到对应的page。
一般情况下,当我们需要读入一个Page时,首先根据space id 和page no找到对应的buffer pool instance。然后查询page hash,如果page hash中没有,则表示需要从磁盘读取。在读盘前首先我们需要为即将读入内存的数据页分配一个空闲的block。当free list上存在空闲的block时,可以直接从free list上摘取;如果没有,就需要从unzip_lru 或者 lru上驱逐page。
这里需要遵循一定的原则(参考函数buf_LRU_scan_and_free_block , 5.7.5):
- 首先尝试从unzip_lru上驱逐解压页;
- 如果没有,再尝试从Lru链表上驱逐Page;
- 如果还是无法从Lru上获取到空闲block,用户线程就会参与刷脏,尝试做一次SINGLE PAGE FLUSH,单独从Lru上刷掉一个脏页,然后再重试。
Buffer pool中的page被修改后,不是立刻写入磁盘,而是由后台线程定时写入,和大多数数据库系统一样,脏页的写盘遵循日志先行WAL原则,因此在每个block上都记录了一个最近被修改时的Lsn,写数据页时需要确保当前写入日志文件的redo不低于这个Lsn。
然而基于WAL原则的刷脏策略可能带来一个问题:当数据库的写入负载过高时,产生redo log的速度极快,redo log可能很快到达同步checkpoint点。这时候需要进行刷脏来推进Lsn。由于这种行为是由用户线程在检查到redo log空间不够时触发,大量用户线程将可能陷入到这段低效的逻辑中,产生一个明显的性能拐点。
Page Cleaner线程
在MySQL5.6中,开启了一个独立的page cleaner线程来进行刷lru list 和flush list。默认每隔一秒运行一次,5.6版本里提供了一大堆的参数来控制page cleaner的flush行为,包括:
innodb_adaptive_flushing_lwm, innodb_max_dirty_pages_pct_lwm innodb_flushing_avg_loops innodb_io_capacity_max innodb_lru_scan_depth
这里我们不一一介绍,总的来说,如果你发现redo log推进的非常快,为了避免用户线程陷入刷脏,可以通过调大innodb_io_capacity_max来解决,该参数限制了每秒刷新的脏页上限,调大该值可以增加Page cleaner线程每秒的工作量。如果你发现你的系统中free list不足,总是需要驱逐脏页来获取空闲的block时,可以适当调大innodb_lru_scan_depth 。该参数表示从每个buffer pool instance的lru上扫描的深度,调大该值有助于多释放些空闲页,避免用户线程去做single page flush。
为了提升扩展性和刷脏效率,在5.7.4版本里引入了多个page cleaner线程,从而达到并行刷脏的效果。目前Page cleaner并未和buffer pool绑定,其模型为一个协调线程 + 多个工作线程,协调线程本身也是工作线程。因此如果innodb_page_cleaners设置为4,那么就是一个协调线程,加3个工作线程,工作方式为生产者-消费者。工作队列长度为buffer pool instance的个数,使用一个全局slot数组表示。
协调线程在决定了需要flush的page数和lsn_limit后,会设置slot数组,将其中每个slot的状态设置为PAGE_CLEANER_STATE_REQUESTED, 并设置目标page数及lsn_limit,然后唤醒工作线程 (pc_request)
工作线程被唤醒后,从slot数组中取一个未被占用的slot,修改其状态,表示已被调度,然后对该slot所对应的buffer pool instance进行操作。直到所有的slot都被消费完后,才进入下一轮。通过这种方式,多个page cleaner线程实现了并发flush buffer pool,从而提升flush dirty page/lru的效率。
MySQL5.7的InnoDB flush策略优化
在之前版本中,因为可能同时有多个线程操作buffer pool刷page (在刷脏时会释放buffer pool mutex),每次刷完一个page后需要回溯到链表尾部,使得扫描bp链表的时间复杂度最差为O(N*N)。
在5.6版本中针对Flush list的扫描做了一定的修复,使用一个指针来记录当前正在flush的page,待flush操作完成后,再看一下这个指针有没有被别的线程修改掉,如果被修改了,就回溯到链表尾部,否则无需回溯。但这个修复并不完整,在最差的情况下,时间复杂度依旧不理想。
因此在5.7版本中对这个问题进行了彻底的修复,使用多个名为hazard pointer的指针,在需要扫描LIST时,存储下一个即将扫描的目标page,根据不同的目的分为几类:
- flush_hp: 用作批量刷FLUSH LIST
- lru_hp: 用作批量刷LRU LIST
- lru_scan_itr: 用于从LRU链表上驱逐一个可替换的page,总是从上一次扫描结束的位置开始,而不是LRU尾部
- single_scan_itr: 当buffer pool中没有空闲block时,用户线程会从FLUSH LIST上单独驱逐一个可替换的page 或者 flush一个脏页,总是从上一次扫描结束的位置开始,而不是LRU尾部。
后两类的hp都是由用户线程在尝试获取空闲block时调用,只有在推进到某个buf_page_t::old被设置成true的page (大约从Lru链表尾部起至总长度的八分之三位置的page)时, 再将指针重置到Lru尾部。
这些指针在初始化buffer pool时分配,每个buffer pool instance都拥有自己的hp指针。当某个线程对buffer pool中的page进行操作时,例如需要从LRU中移除Page时,如果当前的page被设置为hp,就要将hp更新为当前Page的前一个page。当完成当前page的flush操作后,直接使用hp中存储的page指针进行下一轮flush。
社区优化
一如既往的,Percona Server在5.6版本中针对buffer pool flush做了不少的优化,主要的修改包括如下几点:
- 优化刷LRU流程buf_flush_LRU_tail
该函数由page cleaner线程调用。- 原生的逻辑:依次flush 每个buffer pool instance,每次扫描的深度通过参数innodb_lru_scan_depth来配置。而在每个instance内,又分成多个chunk来调用;
- 修改后的逻辑为:每次flush一个buffer pool的LRU时,只刷一个chunk,然后再下一个instance,刷完所有instnace后,再回到前面再刷一个chunk。简而言之,把集中的flush操作进行了分散,其目的是分散压力,避免对某个instance的集中操作,给予其他线程更多访问buffer pool的机会。
- 允许设定刷LRU/FLUSH LIST的超时时间,防止flush操作时间过长导致别的线程(例如尝试做single page flush的用户线程)stall住;当到达超时时间时,page cleaner线程退出flush。
- 避免用户线程参与刷buffer pool
当用户线程参与刷buffer pool时,由于线程数的不可控,将产生严重的竞争开销,例如free list不足时做single page flush,以及在redo空间不足时,做dirty page flush,都会严重影响性能。Percona Server允许选择让page cleaner线程来做这些工作,用户线程只需要等待即可。出于效率考虑,用户还可以设置page cleaner线程的cpu调度优先级。
另外在Page cleaner线程经过优化后,可以知道系统当前处于同步刷新状态,可以去做更激烈的刷脏(furious flush),用户线程参与到其中,可能只会起到反作用。
- 允许设置page cleaner线程,purge线程,io线程,master线程的CPU调度优先级,并优先获得InnoDB的mutex。
- 使用新的独立后台线程来刷buffer pool的LRU链表,将这部分工作负担从page cleaner线程剥离。
实际上就是直接转移刷LRU的代码到独立线程了。从之前Percona的版本来看,都是在不断的强化后台线程,让用户线程少参与到刷脏/checkpoint这类耗时操作中。
- 使用新的独立后台线程来刷buffer pool的LRU链表,将这部分工作负担从page cleaner线程剥离。
转载于:https://www.cnblogs.com/yuyue2014/p/5553820.html
MySQL · 性能优化· InnoDB buffer pool flush策略漫谈相关推荐
- MySQL 引擎特性 · InnoDB Buffer Pool
前言 用户对数据库的最基本要求就是能高效的读取和存储数据,但是读写数据都涉及到与低速的设备交互,为了弥补两者之间的速度差异,所有数据库都有缓存池,用来管理相应的数据页,提高数据库的效率,当然也因为引入 ...
- MySQL性能优化(三)Buffer Pool实现原理
MySQL性能优化(一)MySQL中SQL语句是如何执行的 MySQL性能优化(二)InnoDB之日志文件 文章目录 1.回顾缓冲池 Buffer Pool 2.配置Buffer Pool的大小 3. ...
- [转]MySQL innodb buffer pool
最近在对公司的 MySQL 服务器做性能优化, 一直对 innodb 的内存使用方式不是很清楚, 乘这机会做点总结. 在配置 MySQL 的时候, 一般都会需要设置 innodb_buffer_poo ...
- 重学MySQL(InnoDB Buffer Pool是什么?)
文章目录 InnoDB Buffer Pool是什么? 我们的数据是如何放在InnoDB Buffer Pool中的? InnoDB怎么知道数据页是否在Buffer Pool中? InnoDB Buf ...
- 《MySQL性能优化和高可用架构实践》阅读总结
文章目录 介绍 第1章 MySQL架构介绍 1.1 MySQL简介 1.2 MySQL主流的分支版本 1.3 MySQL存储引擎 1.4 MySQL逻辑架构 1.5 MySQL物理文件体系结构 第2章 ...
- Innodb Buffer Pool的三种Page和链表
点击上方蓝色"程序猿DD",选择"设为星标" 回复"资源"获取独家整理的学习资料! 作者 | 王航威 来源 | 公众号「yangyidba」 ...
- MySQL深度剖析之Buffer Pool专题(2021)
一 为什么需要Buffer Pool 如果我们每一次查询或者更新都需要到磁盘找到对应数据页,每次的都需要从磁盘加载,那么性能必定是很差的.所以将一些从磁盘加载的数据页,放入到内存缓存起来,而不用每次都 ...
- 性能优化专题 - MySql 性能优化 - 04 - MySql调优
目录导航 前言 Undo-log与Redo-log 案例 当前读.快照读 Redo Log的落盘配置 MySQL配置优化 MySQL服务器参数类型 快速定位MySql配置文件 MySQL内存参数配置 ...
- MySQL性能优化之参数配置 - 愤怒的码农 - 博客园
MySQL性能优化之参数配置 1.目的: 通过根据服务器目前状况,修改Mysql的系统参数,达到合理利用服务器现有资源,最大合理的提高MySQL性能. 2.服务器参数: 32G内存.4个CPU,每个C ...
最新文章
- 微服务治理平台的RPC方案实现
- php7和python3性能对比-python2.7和3.7的区别
- MYSQL 获取当前日期及日期格式以及非空处理
- Python 技术篇-不使用os模块判断指定路径是文件还是文件夹,使用pathlib库判断文件和文件夹
- 云计算与springCloud概念上的区别
- 第二阶段个人冲刺08
- 弹射王服务器正在维护中,《弹射王》IOS版合服公告-1.7
- 玩转docker、Swarm、Kubernetes
- 打开SQlite数据库
- WIN7镜像中增加USB3.0驱动和语言包
- 电磁场与电磁波-场论基础
- ZYNQ嵌入式开发基础教程
- 音乐播放器代码和网页播放器代码
- 林赛登《花花公子》后桃花旺 与神秘男车场约会_0
- 图像处理-泊松融合(Possion Matting)
- cpua55和a53哪个好_OPPOA55和OPPOA53哪个好-参数对比-更值得入手
- 有一个字符串,如11.2美元34人民币;如何将数字与单位分开,放入数组中呢,数组比如 attr[0]=11.2 attr[1]=美元 ,依次类推
- C语言二位十进制计算器模数,十进制转二进制计算器
- APP小程序网站搭建需要什么样的服务器
- 学术扫盲之期刊,数据库,会议都是什么
热门文章
- U盘安装Linux CentOS 6.5 64位操作系统(来自互联网)
- Vivado HLS error: Cannot find ISE in the PATH variable or it's an unsupported version
- Struts2数据传输的背后机制:ValueStack(值栈)
- 0050算法笔记——【线性规划】单纯形算法(未完全实现)
- 杭电多校(四)2019.7.31--暑假集训
- openssl 模块 安装 centso Ubuntu
- Fibonacci数列时间复杂度之美妙
- 关于transform的3D变形函数
- 深度学习解决多视图非线性数据特征融合问题
- jee websocket搭建总结