Ceph Cache Tier

CacheTier是ceph服务端缓存的一种方案，简单来说就是加一层Cache层，客户端直接跟Cache层打交道，提高访问速度，后端有一个存储层，实际存储大批量的数据。

分层存储的原理，就是存储的数据的访问是有热点的，数据并非均匀访问。有个通用法则叫做二八原则，也就是80%的应用只访问20%的数据，这20%的数据成为热点数据，如果把这些热点数据保存性能比较高的SSD磁盘上，就可以提高响应时间。

性能较高的存储，一般由SSD 磁盘组成，称之为Cache 层，hot层，Cache pool 或者 hot pool，访问性能比较低的存储层就称为 base pool 或者 data pool，cold pool 等。

一、ceph cache mode

1、WriteBack模式：

客户端写入cache层，cache层应答，并且及时的写入back层，并删除掉cache层数据。客户端读取时，如果cache层不存在该数据，则从back层迁移数据过来，服务读取请求，一直可以服务到有效期内，适合于大量修改的数据应用场景（例如图片视频编辑, 联机事务处理类应用），适合”热”数据。

2、Read-only模式：

读请求直接发送给cache pool，写请求并不经过cache pool,而是直接发送给back_pool.客户端写数据时，直接写入到back层，客户端读取时，cache层从back层拷贝数据，并在有效期内服务，过期的数据会被删除，这种方式的优点就是，cache pool 设置为单副本就可以了，即使cache pool 层失效，也不会有数据的丢失。这种模式比较适合数据一次写入，多次读取的应用场景。例如图片，视频, 音频等。适合”冷”数据。

3、Read-forward模式：

写的时候，和WriteBack模式一样；读的时候，如果cache层不存在该对象，则会转发读请求到back层。

4、Read-proxy模式：

和Read-forward模式相似，读取的时候不是转发客户端的请求，而是代表客户端去读取back层的数据。

二、使用Cache Tier步骤

1、创建2个pool

1 2	`ceph osd poolcreate cachepool 150 150` `ceph osd poolcreate backpool 150 150`

2、关联2个pool

1	`cephosd tier add backpool cachepool`

3、设置cache模式

1 2	`ceph osd tiercache-mode cachepool writeback` `#writeback\|forward\|readonly\|readforward四种模式根据需求选择`

4、设置over-lay

所谓overlay，即所有发送到后端存储层的请求会被转发到cache层。

1	`ceph osd tierset-overlay backpool cachepool`

三、配置cache tier

cephosd pool set foo-hot hit_set_type bloom

cephosd pool set foo-hot hit_set_count 1

cephosd pool set foo-hot hit_set_period 3600 # 1 hour

ceph osd pool set foo-hot target_max_bytes1000000000000 # 1 TB

ceph osd pool set foo-hottarget_max_objects 1000000 # 1million objects

ceph osd pool set foo-hotcache_min_flush_age 600 # 10 minutes

ceph osd pool set foo-hotcache_min_evict_age 1800 # 30 minutes

Cache层的阈值

ceph osd pool set cachepooltarget_max_bytes 1099511627776

ceph osd pool set cachepooltarget_max_objects 1000000

ceph osd pool set cachepoolcache_target_dirty_ratio 0.4

ceph osd pool set cachepoolcache_target_full_ratio 0.8

ceph osd pool set cachepool cache_min_flush_age 600

ceph osd pool set cachepoolcache_min_evict_age 1800

删除cache tier(Read-only)

1 2	`ceph osd tier cache-mode cachepool none` `ceph osd tier remove backpool cachepool`

删除cache tier(Write-back)

ceph osd tier cache-mode cachepool forward

rados -p cachepool ls

rados -p cachepool cache-flush-evict-all

ceph osd tier remove-overlay backpool

ceph osd tier remove backpool cachepool

本文转自Jacken_yang 51CTO博客，原文链接：http://blog.51cto.com/linuxnote/1791160，如需转载请自行联系原作者

Ceph Cache Tier相关推荐

Ceph Cache Tier中缓存读写流程源码分析
存储系统:ceph-14.2.22 PrimaryLogPG::do_request [ 文件路径 ] ceph/src/osd/PrimaryLogPG.cc OSD在收到客户端发送的请求时,会调用 ...
Ceph cache tier 中 flush 和 evict 机制源码分析
存储系统:ceph-14.2.22 操作系统:ubuntu-server-16.04.07 OSDService::agent_entry [ 文件路径 ] ceph/src/osd/OSD.cc O ...
Ceph性能测试（RBD、CephFS、NFS、Cache Tier）
本文是以下两篇文章的后续: 探索fio参数如何选择以及全方位对比HDD和SSD性能:部署Ceph前测试磁盘性能,同时基于fio测试参数的变化深入了解fio原理和磁盘IO特点. CentOS8使用cep ...
cache tier 分级缓存
一图描述 cache tier: Ceph 缓存层将冷热数据分离,以快速存储设备作为缓存层,低速廉价存储设备作为存储层提升 IO 性能使用两个 pool,作为存储层和缓存层,缓存层覆盖在存储层上, ...
flash cache tier下放flush实验
创建3台vm 分别是ceph01.ceph02.ceph03 a)后台手动部署ceph b)后台部署完毕后创建一个HDD池 rados mkpool HDD 然后定制crushmap 1.ceph o ...
Ceph分层存储分析
最近弄Ceph集群考虑要不要加入分层存储因此花了点时间研究了下 1,首先肯定要弄清Ceph分层存储的结构 ,结构图大概就是下图所示缓存层(A cache tier)为Ceph客户端提供更好的I/O ...
《Ceph源码分析》——第1章，第5节RADOS
本节书摘来自华章出版社<Ceph源码分析>一书中的第1章,第1.5节RADOS,作者常涛,更多章节内容可以访问云栖社区"华章计算机"公众号查看 1.5 RADOS RA ...
ceph常用命令-pool相关命令
2019独角兽企业重金招聘Python工程师标准>>> 1.1 查询系统中所有的pool 命令格式: ceph osd lspools 或rados lspools 1.2 ...
一文囊括Ceph所有利器(工具)
原文链接: 知乎专栏: 一文囊括Ceph所有利器(工具) - 知乎前言 ceph的工具很多,包括集群管理与运维,还有性能分析等等. 所以本文期望应收尽收所有的工具,也当做自己的一个梳理与总结,当自己 ...

Ceph Cache Tier

Ceph Cache Tier相关推荐

最新文章

热门文章