三、Zookeeper内部原理

3.1 选举机制

1）半数机制（Paxos 协议）：集群中半数以上机器存活，集群可用。所以zookeeper适合装在奇数台机器上。

2）Zookeeper虽然在配置文件中并没有指定master和slave。但是，zookeeper工作时，是有一个节点为leader，其他则为follower，Leader是通过内部的选举机制临时产生的。

3）以一个简单的例子来说明整个选举的过程。

假设有五台服务器组成的zookeeper集群，它们的id从1-5，同时它们都是最新启动的，也就是没有历史数据，在存放数据量这一点上，都是一样的。假设这些服务器依序启动，来看看会发生什么。

（1）服务器1启动，此时只有它一台服务器启动了，它发出去的报没有任何响应，所以它的选举状态一直是LOOKING状态。

（2）服务器2启动，它与最开始启动的服务器1进行通信，互相交换自己的选举结果，由于两者都没有历史数据，所以id值较大的服务器2胜出，但是由于没有达到超过半数以上的服务器都同意选举它(这个例子中的半数以上是3)，所以服务器1、2还是继续保持LOOKING状态。

（3）服务器3启动，根据前面的理论分析，服务器3成为服务器1、2、3中的老大，而与上面不同的是，此时有三台服务器选举了它，所以它成为了这次选举的leader。

（4）服务器4启动，根据前面的分析，理论上服务器4应该是服务器1、2、3、4中最大的，但是由于前面已经有半数以上的服务器选举了服务器3，所以它只能接收当小弟的命了。

（5）服务器5启动，同4一样当小弟。

3.2 节点类型

1）Znode有两种类型：

短暂（ephemeral）：客户端和服务器端断开连接后，创建的节点自己删除

持久（persistent）：客户端和服务器端断开连接后，创建的节点不删除

2）Znode有四种形式的目录节点（默认是persistent ）

（1）持久化目录节点（PERSISTENT）(小写：persistent)

客户端与zookeeper断开连接后，该节点依旧存在。

（2）持久化顺序编号目录节点（PERSISTENT_SEQUENTIAL）

（小写：persistent_sequential）

客户端与zookeeper断开连接后，该节点依旧存在，只是Zookeeper给该节点名称进行顺序编号。

（3）临时目录节点（EPHEMERAL）(ephemeral)

客户端与zookeeper断开连接后，该节点被删除。

（4）临时顺序编号目录节点（EPHEMERAL_SEQUENTIAL）(ephemeral_sequential)

客户端与zookeeper断开连接后，该节点被删除，只是Zookeeper给该节点名称进行顺序编号。

3）创建znode时设置顺序标识，znode名称后会附加一个值，顺序号是一个单调递增的计数器，由父节点维护

4）在分布式系统中，顺序号可以被用于为所有的事件进行全局排序，这样客户端可以通过顺序号推断事件的顺序

3.3 stat结构体

1）czxid- 引起这个znode创建的zxid，创建节点的事务的zxid

每次修改ZooKeeper状态都会收到一个zxid形式的时间戳，也就是ZooKeeper事务ID。

事务ID是ZooKeeper中所有修改总的次序。每个修改都有唯一的zxid，如果zxid1小于zxid2，那么zxid1在zxid2之前发生。

2）ctime - znode被创建的毫秒数(从1970年开始)

3）mzxid - znode最后更新的zxid

4）mtime - znode最后修改的毫秒数(从1970年开始)

5）pZxid-znode最后更新的子节点zxid

6）cversion - znode子节点变化号，znode子节点修改次数

7）dataversion - znode数据变化号

8）aclVersion - znode访问控制列表的变化号

9）ephemeralOwner- 如果是临时节点，这个是znode拥有者的session id。如果不是临时节点则是0。

10）dataLength- znode的数据长度

11）numChildren - znode子节点数量

3.4 监听器原理

1、监听原理详解：

a) 首先要有一个main（）线程

b) 在main线程中创建ZK客户端，这是会创建两个线程，一个负责网络连接通信（connect）,一个负责监听（listener）

c) 通过connect线程将注册的监听事件发送给ZK

d) 在ZK的注册监听器列表中将注册的监听事件添加到列表中

e) ZK监听到有数据或路径发生变化时，就会将这个消息发送给listener线程

f) Listener线程内部调用process()方法

2、常见的监听

a) 监听节点数据的变化

i. Get path [watch]

b) 监听子节点增减的变化

i. Ls path [watch]

3.5 写数据流程

读是局部性的，即client只需要从与它相连的server上读取数据即可；而client有写请求的话，与之相连的server会通知leader，然后leader会把写操作分发给所有server。所以定要比读慢很多。

【hadoop生态之ZooKeeper】第三章ZooKeeper内部管理【笔记+代码】相关推荐

【hadoop生态之Hbase】HBase部署与使用【笔记+代码】
二.HBase部署与使用 2.1.部署 Hbase的安装请查看 2.2.简单使用 2.2.1 基本操作 **进入****HBase****客户端命令行** bin/hbase shell 2) 查看帮 ...
《Hadoop权威指南》第三章 Hadoop分布式文件系统
<Hadoop权威指南>第三章 Hadoop分布式文件系统目录前言 HDFS的设计 HDFS的概念命令行接口 Hadoop文件系统 Java接口数据流通过distcp并行复制注 ...
Java程序设计（2021春）——第三章类的重用笔记与思考
Java程序设计(2021春)--第三章类的重用笔记与思考本章概览: 3.1 类的继承(概念与语法) 3.2 Object类(在Java继承最顶层的类) 3.3 终结类和终结方法(只能拿来用,不可以 ...
NPDP知识推送-第三章新产品开发流程管理（2）
NPDP知识推送-第三章新产品开发流程管理-2 3.3产品开发流程模型的对比与总结(答案:AAAAC) 1.需要关注的知识点: a.敏捷.精益.集成.门径的使用范围.关键要素. b.门径因为是新产品开 ...
NPDP知识推送-第三章新产品开发流程管理（3）
NPDP知识推送-第三章新产品开发流程管理-3 3.5新产品创新章程(答案:DABAD) 1.新产品创新章程(Product Innovation Charter),考题里面通常简称"PIC ...
第三章：zigbee学习笔记之物理层和mac层帧格式分析
本文原地址:https://blog.csdn.net/tainjau/article/details/81634681 IEEE802.15.4工作组致力于无线个人区域网络(wireless per ...
【hadoop期末复习】第三章分布式文件系统HDFS 超详细讲解（更新完毕）
** 本专栏的Hadoop复习计划文章内容主要包含以下几个部分: [简单]学习通习题 [进阶]课本课后练习 [操作]相关章节实验回顾 ** 使用教材:大数据技术原理与应用(第3版)林子雨编著 ** ...
信息技术导论第三章移动互联网技术笔记
第三章移动互联网技术 3.1 移动互联网概述 3.1.1 移动互联网的基本概念移动互联网是PC互联网发展的必然产物,将移动通信和互联网二者结合起来,成为一体.它是互联网的技术.平台.商业模 ...
计算机组成原理 cpu图,计算机组成原理和结构图式（第三章 CPU子系统）(示例代码)...
计算机组成原理和结构图式(第三章 CPU子系统) 1.运算部件 ?图3-39 M:存储部件(存储单元在存储部件中) R:通用寄存器组 ALU:逻辑运算部件任务:输入/直送,加工,输出运算器构成输 ...

【hadoop生态之ZooKeeper】第三章ZooKeeper内部管理【笔记+代码】