写在前面

cassandra3.x官方文档的非官方翻译。翻译内容水平全依赖本人英文水平和对cassandra的理解。所以强烈建议阅读英文版cassandra 3.x 官方文档。此文档一半是翻译,一半是个人对cassandra的认知。尽量将我的理解通过引用的方式标注,以示区别。另外文档翻译是项长期并有挑战的工作,如果你愿意加入cassandra git book,可以发信给我。当然你也可以加入我们的QQ群,104822562。一起学习探讨cassandra.

摘要
探测器决定了数据中心和机架节点的归属。他们将网络拓扑结构告知给Cassandra,因此请求可以比较高效的进行路由允许Cassandra通过将机器按照数据中心和机架进行分组从而分发副本。具体来说,复制策略基于新的探测器提供的信息放置副本。所有的节点必须返回相同的机架和数据中心信息。Cassandra 尽其所能,不将多个副本放在同一个机架上。(这不一定指代物理位置)

Note: 如果你更改探测器,你可能需要执行额外的步骤,因为探测器会影响副本放置。详情查看更换探测器

一.动态探测

默认情况下,所有的探测器通过一个动态探测层来监控读延迟,尽可能不将请求路由到性能差的节点上。动态探测默认情况下是被启动的,同时也是适用于大多数的部署。想看看他是如何工作的,可以查看http://www.datastax.com/dev/blog/dynamic-snitching-in-cassandra-past-present-and-future.可以cassandra.yaml文件中为每个节点配置动态探测阈值。

更多详细的内容,可以查看http://docs.datastax.com/en/cassandra/3.0/cassandra/architecture/archDataDistributeFailDetect.html列出的属性

二.简单探测

SimpleSnitch(默认值)只适用于单数据中心的部署。它不能识别数据中心或者机架信息,且只可以用于单数据中心的部署或者公有云的单地区。它将策略的顺序作为距离,可以提高缓存当禁掉读修复。

使用简单探测器时,在定义keyspace的时候,使用SimpleStrategy,然后指定一个复制因子。

三.RackInferringSnitch

RackInferringSnitch 通过机架和数据中心来决定节点的距离,分别和节点ip地址的第三位、第二位对应。这个探测器时用来写自定义探测器最好的例子。(除非这正好匹配你的部署协议)

注:

这个探测器实现起来非常粗暴,就是取ip
public String getRack(InetAddress endpoint)
{
return Integer.toString(endpoint.getAddress()[2] & 0xFF, 10);
}

四.PropertyFileSnitch

这个探测器通过机架和数据中心来决定节点的距离。使用cassandra-topology.properties 文件中定义的网络拓扑细节。当使用这个探测器可以将数据中心的名字定义为任何你想要的。确保定义keyspace时指定的名字和这边定义的一样。集群中的每个节点都应该在cassandra-topology.properties文件中定义。而且集群中的每个节点这个文件都应该一样。

过程

如果你的节点有有不一样ip,集群中有两个物理数据中心每个数据中心都有两个机架。第三个逻辑数据中心用来复制分析数据。配置文件可能看起来像下面这样:

Note: 数据中心和机架的名字是大小写敏感的.

# datacenter One175.56.12.105=DC1:RAC1
175.50.13.200=DC1:RAC1
175.54.35.197=DC1:RAC1120.53.24.101=DC1:RAC2
120.55.16.200=DC1:RAC2
120.57.102.103=DC1:RAC2# datacenter Two110.56.12.120=DC2:RAC1
110.50.13.201=DC2:RAC1
110.54.35.184=DC2:RAC150.33.23.120=DC2:RAC2
50.45.14.220=DC2:RAC2
50.17.10.203=DC2:RAC2# Analytics Replication Group172.106.12.120=DC3:RAC1
172.106.12.121=DC3:RAC1
172.106.12.122=DC3:RAC1# default for unknown nodes
default =DC3:RAC1

注:

这种配置方式应该是比较常见的方式,笔者也常常这么干。清晰明了,简单易懂。唯一的问题在于进行节点扩展时,需要更新所有的节点上此配置文件。不过不用重启节点令配置生效。默认刷新的时间是5s

 org.apache.cassandra.locator.PropertyFileSnitchprivate static final int DEFAULT_REFRESH_PERIOD_IN_SECONDS = 5;

五.Ec2Snitch

集群中的所有节点都在一个地区,这种简单的集群部署在Amazon EC2可以使用Ec2Snitch方法。

在EC2上的部署,地区(region)的名字作为数据中心的名字。区域(zones)被当做数据中心中的机架。例如,如果一个节点在us-east-1区域,us-east是数据中心的名字,1是机架的位置。(机架对于分发副本很重要,而不是为了数据中心的命名)因为使用的是私有IPs,所以探测器无法跨地区。

如果你只使用单数据中心,不需要指定任何的属性。

如果使用多数据中心,需要在cassandra-rackdc.properties配置文件中设置dc_suffix选项。其他行会被忽略。

例如,us-east地区的每个节点,在cassandra-rackdc.properties文件中指定数据中心。

Note: 数据中心名字是大小写敏感的

  • node0

    dc_suffix=_1_cassandra

  • node1

    dc_suffix=_1_cassandra

  • node2

    dc_suffix=_1_cassandra

  • node3

    dc_suffix=_1_cassandra

  • node4

    dc_suffix=_1_analytics

  • node5

    dc_suffix=_1_search

这样会为该地区生成三个数据中心

us-east_1_cassandra
us-east_1_analytics
us-east_1_search

Note: 在这个例子中,数据中心命名习惯是根据负载性质来定的。你可以使用其他的规范,如DC1,DC2,100,200.

Keyspace Strategy 选项

当定义keyspace strategy 选项,使用EC 地区名字,如’us-east’作为数据中心的名字

注:

亚马逊是云主机,提供给用户的只有region 和zone的概念。分别对应着cassandra的数据中心和机架,确保数据不会被放在一起。可以在AWS regions`查看regions信息。

六.Ec2MultiRegionSnitch

当在Amazon EC2中的cassandra集群需要跨多地区的时候,使用Ec2MultiRegionSnitch。

当使用Ec2MultiRegionSnitch时,必须要在cassandra.yaml文件和属性文件cassandra-rackdc.properties中配置设置。

cassandra.yaml文件配置跨区域通信

Ec2MultiRegionSnitch 指定broadcast_address值为public IP,以此来允许跨地区的连接。将每个节点配置如下:

  1. 在cassandra.yaml文件,设置listen_address 为节点的私有IP地址,broadcast_address设置为节点的public IP.

这样可以使得在EC2 某个region的Cassandra 节点可以绑定到另外的region,从而支持了多数据中心。对于region内部的流量,Cassandra会切换到private IP建立连接。

  1. 在cassandra.yaml文件中设置seed nodes为public IP.私有IP不会再网络间被路由到。如:

    seeds: 50.34.16.33, 60.247.70.52

对于EC2中每一个seed nodes,可以通过下面指令找到public IP 地址

`curl http://instance-data/latest/meta-data/public-ipv4`

Note:不要讲所有的节点都作为seeds,具体查看gossip

  1. 确保 storage_port(7000)或者ssl_storage_port(7001)没有被防火墙屏蔽

配置snitch跨地区通信

在EC2部署,地区(region)的名字作为数据中心的名字。区域(zones)被当做数据中心中的机架。例如,如果一个节点在us-east-1区域,us-east是数据中心的名字,1是机架的位置。(机架对于分发副本很重要,而不是为了数据中心的命名)

对于每个节点,需要在cassandra-rackdc.properties文件中指定它的数据中心。dc_suffix 选项定力了snitch将用到的数据中心。其他行会被忽略。

在下面的例子中,这儿有两个cassandra数据中心,每个数据中心根据负载命名。在这个例子中,数据中心命名习惯是根据负载性质来定的。你可以使用其他的规范,如DC1,DC2,100,200.(数据中心的名字大小写敏感)

Region: us-east Region: us-west
Node and datacenter:

  • node0

    dc_suffix=_1_cassandra

  • node1

    dc_suffix=_1_cassandra

  • node2

    dc_suffix=_2_cassandra

  • node3

    dc_suffix=_2_cassandra

  • node4

    dc_suffix=_1_analytics

  • node5

    dc_suffix=_1_search

This results in four us-east datacenters:

us-east_1_cassandra
us-east_2_cassandra
us-east_1_analytics
us-east_1_search

Node and datacenter:

  • node0

    dc_suffix=_1_cassandra

  • node1

    dc_suffix=_1_cassandra

  • node2

    dc_suffix=_2_cassandra

  • node3

    dc_suffix=_2_cassandra

  • node4

    dc_suffix=_1_analytics

  • node5

    dc_suffix=_1_search

This results in four us-west datacenters:

us-west_1_cassandra
us-west_2_cassandra
us-west_1_analytics
us-west_1_search

Keyspace Strategy 选项

当定义keyspace strategy 选项,使用EC 地区名字,如’us-east’作为数据中心的名字。

相关的信息
[install locationl](http://docs.datastax.com/en/cassandra/3.0/cassandra/install/referenceInstallLocationsTOC.html)

转载于:https://www.cnblogs.com/stoneFang/p/6715277.html

cassandra 3.x官方文档(5)---探测器相关推荐

  1. Cassandra 3.x官方文档(1)---关于Cassandra

    写在前面 cassandra3.x官方文档的非官方翻译.翻译内容水平全依赖本人英文水平和对cassandra的理解.所以强烈建议阅读英文版cassandra 3.x 官方文档.此文档一半是翻译,一半是 ...

  2. cassandra 3.x官方文档(4)---分区器

    写在前面 cassandra3.x官方文档的非官方翻译.翻译内容水平全依赖本人英文水平和对cassandra的理解.所以强烈建议阅读英文版cassandra 3.x 官方文档.此文档一半是翻译,一半是 ...

  3. Cassandra 3.x官方文档_cassandra.yaml配置文件

    cassandra.yaml是Cassandra的主要配置文件 重要: 修改完cassandra.yaml文件配置以后,你必须重启节点使他生效.它位于下面的目录中: • Cassandra packa ...

  4. Cassandra官方文档整理

    一.概念 ApacheCassandra是一个开源.分布式分散性(没有单点故障).弹性可伸缩(动态增加减少节点).高可用性高容错(多数据中心).可协调一致性(复制因子成功数量由用户决定).面向行的数据 ...

  5. Spring Boot 2.0官方文档之 Actuator

    https://blog.csdn.net/alinyua/article/details/80009435 前言:本文翻译自Spring Boot 2.0.1.RELEASE官方文档,该Spring ...

  6. Spark官方文档整理:spark-core

    Spark 官方文档 1,spark 概述 Apache Spark 是一个快速通用的集群计算系统,它提供了提供了java,scala,python和R的高级API,以及一个支持一般图计算的优化引擎. ...

  7. 【Spring Boot官方文档原文理解翻译-持续更新中】

    [Spring Boot官方文档原文理解翻译-持续更新中] 文章目录 [Spring Boot官方文档原文理解翻译-持续更新中] Chapter 4. Getting Started 4.1. Int ...

  8. Spring Boot 官方文档摘要

    Spring Boot 官方文档摘要 一.Develop Your First Spring Boot Application Spring Boot 依赖于 groupId 为 org.spring ...

  9. OpenCV-Python官方文档学习笔记(上)

    整理自OpenCV-Python官方文档 一. OpenCV-Python Tutorials 1 安装及验证 2 图片读写,展示 3 视频读写,展示 4 绘图功能(绘制几何形状:线.圆.椭圆.矩形. ...

  10. Ant Design 入门-参照官方文档使用组件

    微信小程序开发交流qq群   173683895    承接微信小程序开发.扫码加微信. 先来一个按钮组件使用的对比,官方文档的(不能直接用)和实际能用的. 官网demo: import { Tabl ...

最新文章

  1. php 实现域名路由器,域名路由 · ThinkPHP5.0完全开发手册 · 看云
  2. 康奈尔大学王飞博士:AI处理医疗数据面临的8大挑战
  3. 分布式系统概念 | 分布式ID:数据库、号段模式、雪花算法(Snowflake)、Redis实现方案
  4. mysql微服务查询问题_微服务架构下,Mysql读写分离后,数据库CPU飙升卡壳问题解析...
  5. spring几种获取 HttpServletRequest 对象的方式
  6. Linux虚拟化KVM-Qemu分析(四)之CPU虚拟化(2)
  7. SDUT 2218 Give Me an E(规律)
  8. Linux 内存管理之 SLUB分配器(1): Object-layout
  9. iOS平台下闪退原因汇总(一):Ran out of trampolines of type 0/1/2 运行时间错误
  10. java吃处理器吗_java – 为什么eclipse几乎没有吃掉所有CPU的原因
  11. 简单版俄罗斯方块程序代码c语言,俄罗斯方块C语言程序代码.DOC
  12. OpenXML:C#操作PPT文档
  13. 《tensorflow实战》6——强化学习之策略网络
  14. 泥瓦匠:程序猿为啥要坚持写原创技术博客?
  15. 刚开始做斗音掌握这5点至少让你少走半年弯路
  16. verilog hdl高级数字设计(一)
  17. select vba 网页 翻页_通过VBA程序来实现Excel表格翻页的方法
  18. 入职一年,升职一次,涨薪两次
  19. 云宏大讲坛 | 饭局排桌子,排出了分布式资源调度高级规则
  20. c语言自动贩卖机设计报告,自动贩卖机课程设计.doc

热门文章

  1. mysql checkpoint_MySQL checkpoint深入分析
  2. 《C#图解教程》读书笔记之五:委托和事件
  3. php的json_encode第二个参数学习及应用
  4. 【转】webservice 测试地址
  5. phpstudy 上怎么运行 thinkPHP ?
  6. ecshop /goods.php SQL Injection Vul
  7. 大量原创视频教程分享(01)---XSL语法教程
  8. js隐藏div和class
  9. 运行.AppImage文件。
  10. 升级成员服务器-从Windows 2012升级到2016案例之2