以下图片来自西安交通大学侯迪老师的ppt,仅供学习和复习使用,请勿转载或他用

云数据管理的理论基础(重点)

1. CAP定理

C:consistency 一致性 即分布式系统中的所有数据备份在同一时刻是相同的

A:availablility 可用性 即使一些节点故障,整体还是能够响应客户端的读写请求(总是能有结果)

P:partition tolerance 分区容忍性

一个分布式系统里面,节点组成的网络本来应该是连通的。然而可能因为一些故障,使得有些节点之间不连通了,整个网络就分成了几块区域。数据就散布在了这些不连通的区域中。这就叫分区。

当你一个数据项只在一个节点中保存,那么分区出现后,和这个节点不连通的部分就访问不到这个数据了。这时分区就是无法容忍的。

提高分区容忍性的办法就是一个数据项复制到多个节点上,那么出现分区之后,这一数据项就可能分布到各个区里。容忍性就提高了。

然而,要把数据复制到多个节点,就会带来一致性的问题,就是多个节点上面的数据可能是不一致的。要保证一致,每次写操作就都要等待全部节点写成功,而这等待又会带来可用性的问题。

总的来说就是,数据存在的节点越多,分区容忍性越高,但要复制更新的数据就越多,一致性就越难保证。为了保证一致性,更新所有节点数据所需要的时间就越长,可用性就会降低。

作者:邬江 链接:CAP理论中的P到底是个什么意思? - 知乎 来源:知乎 著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。

CAP中只能满足任意2个

2. 一致性模型

  • 强一致性

强一致性(即时一致性)假如A先写入一个值到存储系统,存储系统保证后续的读操作都返回最新值。 例如:文件系统,RDBMS都是强一致性的。

  • 弱一致性

假如A先写入了一个值到存储系统,存储系统不能保证后续读取操作能够读到最新值。 这种情况下有一个“不一致性窗口”,它特指从A写入值,到后续操作A,B,C读取到最新值这一段时间。 例如:某些cache系统,网络游戏其它玩家的数据和你没什么关系,或是百度搜索引擎。

  • 最终一致性

最终一致性是弱一致性的一种特例 假如A首先write了一个值到存储系统,存储系统保证,如果在A,B,C后续读取之前没有其他写操作更新同样的值的话,最终所有的读取操作都会读取到A写入的最新的值。 这种情况下,如果没有失败发生的话,“不一致性窗口”的大小依赖以下的几个因素:

  • 交互延迟

  • 系统的负载

  • 复制架构中replica的个数(可以理解为master/slave模式中,slave的个数)

例如:DNS,电子邮件。

服务器一致性(重点)

要保证强一致性,则必须W+R>N

同时要保证写操作的高可用(写的节点少即写的时间少则可用性高):W=1,R=N

同时要保证读的高可用:R=1,W=N

平衡:W=R=N/2+1,这里除是整除

详细分析见:

https://segmentfault.com/a/1190000002802797

3.BASE性质

牺牲高一致性

4. 一致性哈希

5. PAXOS算法(略)

第10章习题

第10章 大数据与云数据库管理相关推荐

  1. 商机 | 大数据/政务云采购清单 招标12起,最高招标价为2037.5万(11.8-11.10)

    文 | 36大数据 奥兰多 一.政府.企事业单位大数据/政务云中标成交清单,一共9起,最高成交价为1805万 二.政府.企事业单位大数据/政务云招标清单  一共12起,最高招标价为2037.5万 [招 ...

  2. 商机 | 大数据/政务云采购清单 招标6起,最高招标价为280万(10.25-10.27)

    文 | 36大数据 奥兰多 一.政府.企事业单位大数据/政务云中标成交清单,一共7起,最高成交价为296万 二.政府.企事业单位大数据/政务云招标清单  一共6起,最高招标价为280万 [招标][43 ...

  3. 商机 | 大数据/政务云采购清单 招标5起,最高招标价为713万(10.18-10.20)

    文 | 36大数据 奥兰多 一.政府.企事业单位大数据/政务云中标成交清单,一共8起,最高成交价为5858万 二.政府.企事业单位大数据/政务云招标清单  一共5起,最高招标价为713万 [招标][2 ...

  4. 商机 | 大数据/政务云采购清单 招标7起,最高招标价为2350万(10.21-10.24)

    文 | 36大数据 奥兰多 一.政府.企事业单位大数据/政务云中标成交清单,一共6起,最高成交价为163.4万 二.政府.企事业单位大数据/政务云招标清单  一共7起,最高招标价为2350万 [招标] ...

  5. Hadoop专业解决方案-第1章 大数据和Hadoop生态圈

    一.前言: 非常感谢Hadoop专业解决方案群:313702010,兄弟们的大力支持,在此说一声辛苦了,经过两周的努力,已经有啦初步的成果,目前第1章 大数据和Hadoop生态圈小组已经翻译完成,在此 ...

  6. 商机 | 大数据/政务云采购清单 招标6起,最高招标价为372万(9.16-9.19)

    文 | 36大数据 奥兰多 一.政府.企事业单位大数据/政务云中标成交清单,一共6起,最高成交价为1603.6万 二.政府.企事业单位大数据/政务云招标清单  一共6起,最高招标价为372万 [招标] ...

  7. Java程序员必备的10个大数据框架

    当今IT开发人员面对的最大挑战就是复杂性,硬件越来越复杂,OS越来越复杂,编程语言和API越来越复杂,我们构建的应用也越来越复杂.根据外媒的一项调查报告,小千列出了Java程序员在过去12个月内一直使 ...

  8. 给 Java 开发者的 10 个大数据工具和框架

    给 Java 开发者的 10 个大数据工具和框架 当今IT开发人员面对的最大挑战就是复杂性,硬件越来越复杂,OS越来越复杂,编程语言和API越来越复杂,我们构建的应用也越来越复杂.根据外媒的一项调查报 ...

  9. 大数据上云存算分离演进思考与实践

    作者:汤祯捷 阿里云智能计算平台团队 存算分离.数据湖.在离线混部,这些名词越来越多的出现在各行各业数字化转型的关键活动中.本文仅从大数据产品商业化从业者的视角来探讨与分析大数据领域的存算分离演进过程 ...

最新文章

  1. SQL Server 2008 阻止保存要求重新创建表的更改问题的设置方法
  2. shell变量$#,$@,$0,$1,$2解释
  3. TensorRT学习笔记6 - IPlugin
  4. K8S滚动更新示例演示
  5. MySQL-03:数据表操作基本命令笔记
  6. 在数组中找重复数、只出现一次的数或丢失数的题目(Leetcode题解-Python语言)
  7. 【算法分析与设计】基本算法设计方法的思想策略
  8. 7-107 汉诺塔的非递归实现 (25 分)
  9. python pandas 判断是否为空“nan”
  10. HTML布局是外边距咋表示,布局 页面设置百分比 子元素如何设置外边距?
  11. Java - 多线程Callable、Executors、Future
  12. 【RS】BGP14条选路原则(1)
  13. android关机铃声代码,android系统添加关机铃声
  14. Algorithm Review 5 图论
  15. python实现QQ机器人(自动登录,获取群消息,发送群消息)
  16. 2019年虚拟机备份软件大盘点
  17. AM3352 uboot中对NandFlash坏块的处理
  18. 软件破解逆向安全(十二)内存特征码
  19. 论文心得:BatchNorm及其变体
  20. 语义化你的HTML标签和属性

热门文章

  1. linux磁盘空间df-h出不出来,linux 故障:df -h统计磁盘空间占用太多,但又du -h找不到大的文件...
  2. MICCAI-iseg2017挑战赛小结与婴儿脑组织分割总结
  3. 【实用技巧】 修改度娘的提取码
  4. 美国大学生数学建模竞赛赛题题型分类
  5. Elasticsearch生命周期ILM若干时间后自动删除索引index
  6. HTML打造动漫人物,19个搭配很酷的卡通人物网站设计欣赏
  7. 性价比高的蓝牙耳机排行榜,推荐200内最好用蓝牙耳机品牌
  8. javascript检测浏览器是否需要升级版本和提示
  9. Git:Terminal is dumb, but EDITOR unset
  10. 不是科班出身可以做配音演员吗?成都环宇博睿告诉你有没有学历要求?