Ceph分布式存储实践应用之Ceph性能调优
1. 系统配置调优
设置磁盘的预读缓存
echo "8192" > /sys/block/sda/queue/read_ahead_kb设置系统的进程数量
echo 4194303 > /proc/sys/kernel/pid_max调整CPU性能
注意： 虚拟机和部分硬件CPU可能不支持调整。
1） 确保安装了内核调整工具：
yum -y install kernel-tools2）调整为性能模式
可以针对每个核心做调整：
echo performance > /sys/devices/system/cpu/cpu${i}/cpufreq/scaling_governor或者通过CPU工具进行调整：
cpupower frequency-set -g performance支持五种运行模式调整：
performance ：只注重效率，将CPU频率固定工作在其支持的最高运行频率上，该模式是对系统高性能的最大追求。
powersave：将CPU频率设置为最低的所谓“省电”模式，CPU会固定工作在其支持的最低运行频率上，该模式是对系统低功耗的最大追求。
userspace：系统将变频策略的决策权交给了用户态应用程序，并提供相应接口供用户态应用程序调节CPU 运行频率使用。
ondemand: 按需快速动态调整CPU频率， 一有cpu计算量的任务，就会立即达到最大频率运行，等执行完毕就立即回到最低频率。
conservative： 它是平滑地调整CPU频率，频率的升降是渐变式的, 会自动在频率上下限调整，和ondemand模式的主要区别在于它会按需渐进式分配频率，而不是一味追求最高频率.。
3) 部分硬件可能不支持，调整会出现如下错误：
[root@CENTOS7-1 ~]# cpupower frequency-set -g performance Setting cpu: 0 Error setting new values. Common errors: - Do you have proper administration rights? (super-user?) - Is the governor you requested available and modprobed? - Trying to set an invalid policy? - Trying to set a specific frequency, but userspace governor is not available,for example because of hardware which cannot be set to a specific frequencyor because the userspace governor isn't loaded?优化网络参数
修改配置文件：
vi /etc/sysctl.d/ceph.conf配置内容：
net.ipv4.tcp_rmem = 4096 87380 16777216 net.ipv4.tcp_wmem = 4096 16384 16777216 net.core.rmem_max = 16777216 net.core.wmem_max = 16777216执行生效：
sysctl -p /etc/sysctl.d/ceph.conf
2. Ceph集群优化配置
Ceph的主要配置参数
FILESTORE配置参数：
| 参数名 | 描述 | 默认值 | 建议值 |
|---|---|---|---|
| filestore xattr use omap | 为XATTRS使用object map，EXT4文件系统时使用，XFS或者btrfs也可以使用 | false | true |
| filestore max sync interval | 从日志到数据盘最大同步间隔(seconds) | 5 | 15 |
| filestore min sync interval | 从日志到数据盘最小同步间隔(seconds) | 0.1 | 10 |
| filestore queue max ops | 数据盘最大接受的操作数 | 500 | 25000 |
| filestore queue max bytes | 数据盘一次操作最大字节数(bytes) | 100 << 20 | 10485760 |
| filestore queue committing max ops | 数据盘能够commit的操作数 | 500 | 5000 |
| filestore queue committing max bytes | 数据盘能够commit的最大字节数(bytes) | 100 << 20 | 10485760000 |
| ilestore op threads | 并发文件系统操作数 | 2 | 32 |
journal 配置参数：
| 参数名 | 描述 | 默认值 | 建议值 |
|---|---|---|---|
| osd journal size | OSD日志大小(MB) | 5120 | 20000 |
| journal max write bytes | journal一次性写入的最大字节数(bytes) | 10 << 20 | 1073714824 |
| journal max write entries | journal一次性写入的最大记录数 | 100 | 10000 |
| journal queue max ops | journal一次性最大在队列中的操作数 | 500 | 50000 |
| journal queue max bytes | journal一次性最大在队列中的字节数(bytes) | 10 << 20 | 10485760000 |
osd config tuning 配置参数：
| 参数名 | 描述 | 默认值 | 建议值 |
|---|---|---|---|
| osd max write size | OSD一次可写入的最大值(MB) | 90 | 512 |
| osd client message size cap | 客户端允许在内存中的最大数据(bytes) | 524288000 | 2147483648 |
| osd deep scrub stride | 在Deep Scrub时候允许读取的字节数(bytes) | 524288 | 131072 |
| osd op threads | OSD进程操作的线程数 | 2 | 8 |
| osd disk threads | OSD密集型操作例如恢复和Scrubbing时的线程 | 1 | 4 |
| osd map cache size | 保留OSD Map的缓存(MB) | 500 | 1024 |
| osd map cache bl size | OSD进程在内存中的OSD Map缓存(MB) | 50 | 128 |
osd - recovery tuning 配置参数：
| 参数名 | 描述 | 默认值 | 建议值 |
|---|---|---|---|
| osd recovery op priority | 恢复操作优先级，取值1-63，值越高占用资源越高 | 10 | 4 |
| osd recovery max active | 同一时间内活跃的恢复请求数 | 15 | 10 |
| osd max backfills | 一个OSD允许的最大backfills数 | 10 | 4 |
osd - client tuning 配置参数：
| 参数名 | 描述 | 默认值 | 建议值 |
|---|---|---|---|
| rbd cache | RBD缓存 | true | true |
| rbd cache size | RBD缓存大小(bytes) | 33554432 | 268435456 |
| rbd cache max dirty | 缓存为write-back时允许的最大dirty字节数(bytes)，如果为0，使用write-through | 25165824 | 134217728 |
| rbd cache max dirty age | 在被刷新到存储盘前dirty数据存在缓存的时间(seconds) | 1 | 5 |
优化配置示例
[global]#全局设置 fsid = xxxxxxxxxxxxxxx #集群标识ID mon initial members = CENTOS7-1, CENTOS7-2, CENTOS7-3 #初始monitor (由创建monitor命令而定) mon host = 10.10.20.11,10.10.20.12,10.10.20.13 #monitor IP 地址 auth cluster required = cephx #集群认证 auth service required = cephx #服务认证 auth client required = cephx #客户端认证 osd pool default size = 2 #默认副本数设置 默认是3 osd pool default min size = 1 #PG 处于 degraded 状态不影响其 IO 能力,min_size是一个PG能接受IO的最小副本数 public network = 10.10.20.0/24 #公共网络(monitorIP段) cluster network = 10.10.20.0/24 #集群网络 max open files = 131072 #默认0#如果设置了该选项，Ceph会设置系统的max open fds############################################################## [mon] mon data = /var/lib/ceph/mon/ceph-$id mon clock drift allowed = 1 #默认值0.05 #monitor间的clock drift mon osd min down reporters = 13 #默认值1 #向monitor报告down的最小OSD数 mon osd down out interval = 600 #默认值300 #标记一个OSD状态为down和out之前ceph等待的秒数 ############################################################## [osd] osd data = /var/lib/ceph/osd/ceph-$id osd journal size = 20000 #默认5120 #osd journal大小 osd journal = /var/lib/ceph/osd/$cluster-$id/journal #osd journal 位置 osd mkfs type = xfs #格式化系统类型 osd max write size = 512 #默认值90 #OSD一次可写入的最大值(MB) osd client message size cap = 2147483648 #默认值100 #客户端允许在内存中的最大数据(bytes) osd deep scrub stride = 131072 #默认值524288 #在Deep Scrub时候允许读取的字节数(bytes) osd op threads = 16 #默认值2 #并发文件系统操作数 osd disk threads = 4 #默认值1 #OSD密集型操作例如恢复和Scrubbing时的线程 osd map cache size = 1024 #默认值500 #保留OSD Map的缓存(MB) osd map cache bl size = 128 #默认值50 #OSD进程在内存中的OSD Map缓存(MB) osd mount options xfs = "rw,noexec,nodev,noatime,nodiratime,nobarrier" #默认值rw,noatime,inode64 #Ceph OSD xfs Mount选项 osd recovery op priority = 2 #默认值10 #恢复操作优先级，取值1-63，值越高占用资源越高 osd recovery max active = 10 #默认值15 #同一时间内活跃的恢复请求数 osd max backfills = 4 #默认值10 #一个OSD允许的最大backfills数 osd min pg log entries = 30000 #默认值3000 #修建PGLog是保留的最大PGLog数 osd max pg log entries = 100000 #默认值10000 #修建PGLog是保留的最大PGLog数 osd mon heartbeat interval = 40 #默认值30 #OSD ping一个monitor的时间间隔（默认30s） ms dispatch throttle bytes = 1048576000 #默认值 104857600 #等待派遣的最大消息数 objecter inflight ops = 819200 #默认值1024 #客户端流控，允许的最大未发送io请求数，超过阀值会堵塞应用io，为0表示不受限 osd op log threshold = 50 #默认值5 #一次显示多少操作的log osd crush chooseleaf type = 0 #默认值为1 #CRUSH规则用到chooseleaf时的bucket的类型 filestore xattr use omap = true #默认false#为XATTRS使用object map，EXT4文件系统时使用，XFS或者btrfs也可以使用 filestore min sync interval = 10 #默认0.1#从日志到数据盘最小同步间隔(seconds) filestore max sync interval = 15 #默认5#从日志到数据盘最大同步间隔(seconds) filestore queue max ops = 25000 #默认500#数据盘最大接受的操作数 filestore queue max bytes = 1048576000 #默认100 #数据盘一次操作最大字节数(bytes filestore queue committing max ops = 50000 #默认500 #数据盘能够commit的操作数 filestore queue committing max bytes = 10485760000 #默认100 #数据盘能够commit的最大字节数(bytes) filestore split multiple = 8 #默认值2 #前一个子目录分裂成子目录中的文件的最大数量 filestore merge threshold = 40 #默认值10 #前一个子类目录中的文件合并到父类的最小数量 filestore fd cache size = 1024 #默认值128 #对象文件句柄缓存大小 filestore op threads = 32 #默认值2 #并发文件系统操作数 journal max write bytes = 1073714824 #默认值1048560 #journal一次性写入的最大字节数(bytes) journal max write entries = 10000 #默认值100 #journal一次性写入的最大记录数 journal queue max ops = 50000 #默认值50 #journal一次性最大在队列中的操作数 journal queue max bytes = 10485760000 #默认值33554432 #journal一次性最大在队列中的字节数(bytes) ############################################################## [client] rbd cache = true #默认值 true #RBD缓存 rbd cache size = 335544320 #默认值33554432 #RBD缓存大小(bytes) rbd cache max dirty = 134217728 #默认值25165824 #缓存为write-back时允许的最大dirty字节数(bytes)，如果为0，使用write-through rbd cache max dirty age = 30 #默认值1 #在被刷新到存储盘前dirty数据存在缓存的时间(seconds) rbd cache writethrough until flush = false #默认值true #该选项是为了兼容linux-2.6.32之前的virtio驱动，避免因为不发送flush请求，数据不回写 #设置该参数后，librbd会以writethrough的方式执行io，直到收到第一个flush请求，才切换为writeback方式。 rbd cache max dirty object = 2 #默认值0 #最大的Object对象数，默认为0，表示通过rbd cache size计算得到，librbd默认以4MB为单位对磁盘Image进行逻辑切分 #每个chunk对象抽象为一个Object；librbd中以Object为单位来管理缓存，增大该值可以提升性能 rbd cache target dirty = 235544320 #默认值16777216 #开始执行回写过程的脏数据大小，不能超过 rbd_cache_max_dirty
3. 调优最佳实践
MON建议
Ceph 集群的部署必须要正确规划，MON 性能对集群总体性能至关重要。MON 通常应位于专用节点上。为确保正确仲裁，MON 的数量应当为奇数。
OSD建议
每一 个Ceph OSD 都具有日志。OSD 的日志和数据可能会放置于同一存储设备上。当写操作提交至 PG 中所有 OSD 的日志后，标志写操作已经完成。因此，更快的日志性能可以改进响应时间。
在典型的部署中，OSD 使用延迟较高的传统机械硬盘。为最大化效率，Ceph 建议将单独的低延迟 SSD 或 NVMe 设备用于 OSD 日志。 管理员必须谨慎，不可将过多 OSD 日志放在同一设备上，因为这可能会成为性能瓶颈。应考虑以下SSD规格的影响：
- 受支持写入次数的平均故障间隔时间 (MTBF)
- IOPS 能力
- 数据传输速率
- 总线/SSD 耦合能力
Red Hat 建议每个 SATA SSD 设备不超过 6 个 OSD 日志，或者每个 NVMe 设备不超过 12 个 OSD 日志。
RBD建议
RBD块设备上的工作负载通常是 I/O 密集型负载，例如在 OpenStack 中虚拟机上运行的数据库。对于 RBD，OSD 日志应当位于 SSD 或 NVMe 设备上。对于后端存储，可以根据用于支持 OSD 的存储技术（即 NVMe SSD、SATA SSD 或 HDD），提供不同的服务级别。
对象网关建议
Ceph 对象网关上的工作负载通常是吞吐密集型负载。如果是音频和视频资料，可能会非常大。不过，bucket 索引池可能会显示更多的 I/O 密集型工作负载模式。管理员应当将这个池存储在 SSD 设备上。
Ceph 对象网关为每个 bucket 维护一个索引，Ceph 将这一索引存储在一个 RADOS 对象中。当 bucket 不断增长， 数量巨大时（超过 100,000 个），索引性能会降低（因为只有一个 RADOS 对象参与所有索引操作）。
为此， Ceph 可以在多个 RADOS 对象或者是分片 中保存大型索引。管理员可以通过在
ceph.conf配置文件中设置rgw_override_bucket_index_max_shards配置参数来启用这项功能。此参数的建议值是 bucket 中预计对象数量除以 100,000。CephFs建议
存放目录结构和其他索引的元数据池可能会成为 CephFS 的瓶颈。可以将 SSD 设备用于这个池。
每一个CephFS 元数据服务器 (MDS) 会维护一个内存中缓存，用于索引节点等不同种类的项目。Ceph 使用
mds_cache_memory_limit配置参数限制这一缓存的大小。其默认值以绝对字节数表示，等于 1 GB，可以在需要时调优。
本文由mirson创作分享，如需进一步交流，请加QQ群：19310171或访问www.softart.cn
Ceph分布式存储实践应用之Ceph性能调优相关推荐
- Ceph分布式存储(架构 配置与使用 原理 性能调优)
Ceph分布式存储 Ceph分布式存储 1. Ceph概述 1.1 背景 1.2 介绍 1.3 特点 1.4 分布式存储系统横纵对比 2. Ceph架构设计 2.1 Ceph整体设计 2.2 逻辑架构 ...
- ceph分布式文件存储性能调优
ceph分布式文件存储性能调优 一.硬件调优 二.BIOS配置 三.网络配置 四.OS配置 五.硬盘调度算法 六.软件层面 七.ceph参数调优 一.硬件调优 1.NVMe SSD 调优 ● 目的 为 ...
- Java性能调优实践
作者:张 俊城, 郭 理勇, 和 刘 建 https://www.ibm.com/developerworks/cn/java/j-lo-performance-tuning-practice/ind ...
- hbase原理与实践_HBase 性能调优第一弹：内存篇
这是使用 HBase 最不可避免的一个话题,就是 HBase 的性能调优,而且通常建立在我们对 HBase 内部运行机制比较了解的基础上进行的,因此无论怎么说,调优这块都是一个相对复杂的事情.这一篇我 ...
- SQL Server性能调优之执行计划深度剖析 第二节 执行计划第一次实践
SQL Server性能调优之执行计划深度剖析 第二节 执行计划第一次实践 前言:自从上一篇文章发出之后,收到了很朋友的关注.很多朋友要求多多实践,而不是纯粹的理论.确实,从打算出这个系列开始,我就本 ...
- 中间件业务在网易轻舟容器平台的性能调优实践
随着业务容器化的推进,经常有客户抱怨应用 QPS 无法和在物理机或者云主机上媲美,并且时常会出现 DNS 查询超时.短连接 TIME_OUT.网络丢包等问题,而在容器中进行调优与诊断的效果因为安装工具 ...
- 实时数仓入门训练营：Hologres性能调优实践
简介:<实时数仓入门训练营>由阿里云研究员王峰.阿里云高级产品专家刘一鸣等实时计算 Flink 版和 Hologres 的多名技术/产品一线专家齐上阵,合力搭建此次训练营的课程体系,精心打 ...
- Java应用性能调优工具介绍及实践
一.背景 (1).随着微服务架构的逐渐推广,一个大型的单个应用程序被拆分为数个微服务系统,这为研发人员的本地调试跟踪带来困难 (2).在微服务架构中,由于业务的复杂性,常常一个业务流程涉及好数个微服务 ...
- Web2.0网站性能调优实践(引用王宗义)
Web2.0网站性能调优实践 当前web2.0革命风起云涌,web2.0强调服务,而服务最基本的要求是速度快和稳定,离开这两个谈功能强大和易用性都没有任何意义.本文介绍一些关于笔者运营一个web2.0 ...
最新文章
- 网络空间安全：社会工程学之信息追踪——学习笔记 利用搜索引擎追踪！
- react服务端/客户端，同构代码心得
- tensorflow 进阶(三),BP神经网络之两层hidden_layer
- 小程序 input 换行_小程序 input双向数据绑定
- [html] 网页中的友情链接有什么作用？
- android 双线程等待,在Java/Android中启动另一个线程之前如何等待线程完成？
- java 数据库连接不上_真心求助用java连接数据库时为什么总是连接不上
- java switch case多个条件_JAVA基础程序设计之判断与循环
- 关于静态成员变量的谈论
- java static 区别_Java中static和final的区别
- Hadoop学习总结之Map-Reduce的过程解析
- Power BI桌面版与Online版功能区别
- Kubuntu20.04开启UI的root登录
- C++ 利用管道操作本机命令行命令
- enovia使用富文本小结
- Ubuntu快速建立Samba网络共享文件夹
- 测试岗位面试题库---支付功能测试思路有哪些？
- redis集群拓扑_Redis拓扑
- 安装程序出现2502、2503错误解决方法
- 【Java】Java计算器