ceph bluestore 源码分析：刷缓存(trim)逻辑

环境

ceph版本：12.2.1
部署模式：ec 2+1
osd： 3个且资源池已经有数据
执行命令：ceph daemon osd.0 flush_store_cache 进行刷缓存。即将dump_mempools内存池管理的bluestore cache中的无用数据进行释放

主要参数:

bluestore_cache_trim_interval = 0.2 #bluestore cache trim的时间间隔
bluestore_cache_trim_max_skip_pinned # trim cache的时候，如果遇见item是pin的，计数+1，计数超过此值后，停止做trim。默认为64
bluestore_cache_type = 2q #blustore cache类型，默认是2q
bluestore_2q_cache_kin_ratio = 0.5 #2q cache中真正存储新的缓存页面的链表 Ain 所占用整个cache空间的比例
bluestore_2q_cache_kout_ratio = 0.5 # 2q cache中存储被正常淘汰的缓存页面的链表 Alout 所占用整个cache的空间比例
debug_bluestore = 20/20 #设置bluestore的debug日志级别
debug_bdev = 20/20 #设置bdev的debug日志级别

刷缓存源码分析

刷缓存方式主要有两种,两种基本逻辑没有什么区别

osd内部bstore_mempool线程自己每隔一时间调用trim
OSD 子线程 admin_socket接收到终端用户 flush_store_cache信号调用trim函数

第一种方式

第二种方式

基本源码调用逻辑很简单，以我们执行ceph daemon osd.0 flush_store_cache命令的源码调用函数栈如下：

/usr/bin/ceph-osd(BlueStore::SharedBlob::put()+0x2c)
/usr/bin/ceph-osd(BlueStore::Extent::~Extent()+0xd1)
/usr/bin/ceph-osd(BlueStore::Onode::put()+0x96) //回收onode磁盘空间,调用extent的析构函数，sharedblob的析构函数
/usr/bin/ceph-osd(BlueStore::TwoQCache::_trim(unsigned
/usr/bin/ceph-osd(BlueStore::Cache::trim_all()+0x30)
/usr/bin/ceph-osd(BlueStore::flush_cache()+0x7c) //调用flush_cache函数执行trim
/usr/bin/ceph-osd(OSD::asok_command(std::basic_string<char,  //admin_socket线程处理命令

删除onde的时候即Onode::-put函数，先将onode从当前onode_map中删除，再析构掉onode对象

remove掉sharedblob磁盘数据结构。remove过程中同样需要将sharedblob先从sharedblob_set中移除，由remove函数执行，然后再释放sharedblob空间

这里介绍几个bluestore常驻内存的数据结构：

Cache基类
在管理用户数据的onode和lcollection之间有一个结构 OnodeSpace

这里可以看到一个每个bluestore可以包含多个cache。因为不同PG之间的客户端请求可以并发处理，为了提升性能，每个OS相应得会设置多个PG工作队列，bluetore 中的Cache实例个数与之对应
在真正用户数据blob和cache之间的数据结构BufferSpace
BufferSpace的管理的基本单元Buffer,每个Buffer负责管理blob中的一段数据
TwoQCache类

可以看到TwoQCache维护四个队列。所有的Onode与Buffer最终都加入Cache,进行全局热度识别和应用淘汰策略。在BlueStore中的2Q实现，这两类数据分别应用了不同的淘汰策略：针对管理用户数据的单元Onode采用LRU，针对用户数据单元buffer使用2Q算法。

ceph bluestore 源码分析：刷缓存(trim)逻辑相关推荐

ceph bluestore源码分析：非对齐写逻辑
文章目录环境原理说明总结环境 ceph:12.2.1 场景:ec 2+1 部署cephfs,执行如右写模式:dd if=/dev/zero of=/xxx/cephfs bs=6K count ...
ceph bluestore 源码分析：ceph-osd内存查看方式及控制源码分析
文章目录内存查看内存控制内存控制源码分析通过gperftools接口获取osd进程实际内存动态设置cache大小动态调整cache比例 trim释放内存本文通过对ceph-osd内存查看 ...
ceph bluestore源码分析：admin_socket实时获取内存池数据
环境: 版本:ceph 12.2.1 部署完cephfs 使用ceph-fuse挂载,并写入数据关键参数: debug_mempool = true 将该参数置为true即可查看详细的blustor ...
ceph bluestore源码分析：C++ 获取线程id
阅读ceph源码过程中需要明确当前操作是由哪个线程发出,此时需要根据线程id来确认线程名称 C++获取线程id是通过系统调用来直接获取函数描述头文件:<sys/syscall.h> 函 ...
Android UIL图片加载缓存源码分析-内存缓存
本篇文章我们来分析一下著名图片加载库Android-Universal-Image-Loader的图片缓存源码. 源码环境版本:V1.9.5 GitHub链接地址:https://github.co ...
java disruptor压测_Java并发框架Disruptor实现原理与源码分析(二) 缓存行填充与CAS操作...
##缓存行填充关于缓存行填充在我个人的印象里面第一次看到是在Java的java.util.concurrent包中,因为当时很好奇其用法背后的逻辑,所以查了很多资料才明白到底是怎么回事*(也许事实上 ...
我的世界java刷怪数量_我的世界Minecraft源码分析(1)：刷怪逻辑
这个系列通过对我的世界Minecraft源码进行拆分讲解,让大家可以清除的了解一款游戏是怎么一步步被实现出来的,下面就介绍Minecraft源码第一篇内容,关于刷怪逻辑. 生成循环生物大致划分为四种 ...
SugarCRM源码分析之缓存
本篇分析下SugarCRM的缓存,缓存文件主要存放在./include/SugarCache里,实例化主要是SugarCache::instance()方法来实现. // ./include/Suga ...
ecshop源码分析——静态缓存static_c…
http://guozhiwei.javaeye.com/blog/673291 http://www.phpall.cn static_caches缓存文件存放在ecshop/temp/stati ...