分布式存储的集群可靠性计算（ceph）

一、背景

云计算厂商对外宣称可用性，例如某云计算厂商在网站首页的列出如下数字。那么对于某个服务该如何计算呢？服务到底是几个9呢？

二、Ceph集群可靠性计算

1.计算分析

ceph 集群的可用性计算概括来讲就是：计算一年时间内数据丢失的概率。那么，问题的关键就在于，什么情况下，数据会丢失？当某个OSD坏掉，数据不会丢失，因为还有其副本。

只有当存储了某个数据的全部副本损坏的时候，才会发生数据丢失。

在两副本的情况下，ceph集群可靠性计算转化为

P（二副本）= P（一年中两块OSD同时发生故障的概率）* P（两块OSD存储了同一副本）

三副本的情况下，ceph集群可靠性计算转化为

P（三副本）= P（一年中三块OSD同时发生故障的概率）* P（三块OSD存储了同一副本）

如图所示，在一个三副本集群中，下面3块OSD同时坏掉，且该三块OSD存储着同一个副本。那么此时数据丢失。

2. 一年中，n块OSD同时发生故障的概率

（1）单块磁盘发生故障的概率

p_1 = 1 - math.pow(math.e, (-FIT * num_of_osd * t1))

其中 t1 = 24 * 365,代表一年的时间，单位是小时，

FIT是一个单块的硬盘在一年之内损坏的概率，计算方法为：afr / (24 * 365)，其中AFR取值一般在 0.017-0.08之间，这里面取0.017。

（2）在第一块磁盘发生故障时，第二块磁盘故障的概率。

p_2 = 1 - math.pow(math.e, (-FIT * (num_of_osd - 1) * tr))

在一块OSD坏掉的时候，其数据会传输到其他的节点。tr就代表这个时候恢复的时间。

这个时间，与磁盘写速率、数据量都有关系，此处取值为10分钟。

（3）在第二块磁盘发生故障时，第三块、第n块磁盘故障的概率。

p_3 = 1 - math.pow(math.e, (-FIT * (num_of_osd - 2) * tr))

p_n = 1 - math.pow(math.e, (-FIT * (num_of_osd–n+1) * tr))

（4）n块OSD同时发生故障的概率

2块OSD同时发生故障的概率

p_r = p_1*p_2

3块OSD同时发生故障的概率

p_r = p_1*p_2*p_3

3. N块OSD存储了同一副本的概率

此处有一个前提，那就是每个OSD的副本存储在不同的机器上面

（1）计算全部组合

C（OSD总数量，副本数N）

（2）计算OSD分布在N台机器的组合数

C（机器数量，N） * math.pow(OSD总数量，N)

（3）N块OSD存储了同一副本的概率

P= C（机器数量，副本数N） * math.pow(OSD总数量，副本数N) / C（OSD总数量，副本数N）

三、Python实现ceph可靠性计算

通过修改参数，可以自动计算ceph集群可靠性。

"""
计算ceph可靠性
@author 康雨城
"""import mathclass CephAvailability:def __init__(self, num_of_copies: float = 1, num_of_server: float = 3, num_of_osd_per_node: float = 12,afr: float = 0.017, date_size_per_node: float = 1400, write_rate=100):""":param num_of_copies: 副本数量:param num_of_server: 机器数量:param num_of_osd_per_node: 每个机器osd数量:param afr:单块磁盘损坏的概率:param date_size_per_node: 每个OSD存储的数据量单位是 GB:param write_rate: 数据写入速率，单位是MB/s"""self.num_of_copies = num_of_copiesself.num_of_server = num_of_serverself.num_of_osd_per_node = num_of_osd_per_nodeself.afr = afrself.date_size_per_node = date_size_per_nodeself.write_rate = write_ratedef get_copy_set(self):return math.pow(self.num_of_osd_per_node, self.num_of_copies) * self.c(self.num_of_server, self.num_of_copies)def get_recover_time(self):"""数据只在本机架平衡，计算将一个OSD的数据分散到其他OSD中的时间例如：每个OSD存储1400G数据，带宽65MB/s，osd数量是36，已经坏掉1个tr = ((1400 * 1024) / ((36-1) * 65)) / (60 * 60):return:一个OSD的数据分散到其他OSD中的时间，单位是小时"""return ((self.date_size_per_node * 1024) / ((self.num_of_osd_per_node - 1) * self.write_rate)) / (60 * 60)@staticmethoddef c(n, r):"""计算从n个数中选出r个数有多少种组合:param r: 较小数:param n: 较大数:return: P(n,r)/P(r,r) = n!/r!(n-r)!"""return math.factorial(n) / (math.factorial(r) * math.factorial(n - r))def get_failures_in_year(self):"""单块的硬盘在一年之内损坏的概率:return:"""return self.afr / (24 * 365)def get_pr(self):"""当num_of_server个机器上都有一块硬盘损坏，而恰恰这num_of_server块硬盘又保存了同一个Object的全部num_of_copies个副本，此时数据就会出现丢失的情况例如：30个OSD节点，分3个机架摆放，每一个机器有10个OSD节点，每个OSD节点仍然对应一块物理硬盘，副本数为3，并且通过CRUSH MAP，将每一份副本均匀分布在三个机器上当三个机器上都有一块硬盘损坏，而恰恰这三块硬盘又保存了同一个Object的全部副本，此时数据就会出现丢失的情况。在实际应用中，只有双副本和三副本的情况，不会出现4副本的情况:return:pr 数据丢失概率"""t1 = 24 * 365  # 一年的时间FIT = self.get_failures_in_year()tr = self.get_recover_time()p_1 = 1 - math.pow(math.e, (-FIT * self.num_of_server * self.num_of_osd_per_node * t1))p_2 = 1 - math.pow(math.e, (-FIT * (self.num_of_server * self.num_of_osd_per_node - 1) * tr))p_3 = 1 - math.pow(math.e, (-FIT * (self.num_of_server * self.num_of_osd_per_node - 2) * tr))if self.num_of_copies == 2:pr = p_1 * p_2elif self.num_of_copies == 3:pr = p_1 * p_2 * p_3elif self.num_of_copies == 1:pr = p_1else:pr = 0print("参数错误!，副本数只能为2或者3")return prdef get_availability(self):pr = self.get_pr()M = self.get_copy_set()p = 1 - (pr * M / self.c(self.num_of_osd_per_node * self.num_of_server, self.num_of_copies))report_ms = "假设一块盘在一年内发生故障的概率为{}，\n" \"在{}台机器每台机器{}个OSD,\n" \"每个OSD磁盘的数据量为{}GB的{}副本ceph集群中,\n" \"OSD写速率为{}MB/s,\n" \"该ceph集群可用性为{}".format(self.afr, self.num_of_server, self.num_of_osd_per_node,self.date_size_per_node, self.num_of_copies, self.write_rate, p)return report_msif __name__ == '__main__':ceph_availability = CephAvailability()availability_msg = ceph_availability.get_availability()print(availability_msg)'''假设一块盘在一年内发生故障的概率为0.017，在3台机器每台机器12个OSD,每个OSD磁盘的数据量为1400GB的2副本ceph集群中,OSD写速率为100MB/s,该ceph集群可用性为0.9999922821309629'''

四、参考文献

https://sq.163yun.com/blog/article/201111838022103040 《分布式存储系统可靠性系列一：如何估算》

https://sq.163yun.com/blog/article/201112210382258176 《分布式存储系统可靠性系列二：系统估算示例》

https://sq.163yun.com/blog/article/201113281655402496 《分布式存储系统可靠性系列三：设计模式》

https://sq.163yun.com/blog/article/201114512522477568 《分布式存储系统可靠性系列五：副本放置算法 & CopySet Replication》

https://blog.csdn.net/xiaoquqi/article/details/43055031 《CEPH可靠性的计算方法分析》