ZooKeeper简单使用
ZooKeeper简单使用
- ZooKeeper简单使用
- 1、ZooKeeper简介
- 2、ZooKeeper能做什么
- 3、ZooKeeper核心
- 3.1、ZooKeeper安装
- 3.2、ZooKeeper角色
- 3.3、ZooKeeper节点类型
- 3.4、Java操作ZooKeeper
- 4、ZooKeeper简单应用
- 4.1、数据发布/订阅
- 4.2、命名服务
- 4.3、分布式锁
1、ZooKeeper简介
Apache ZooKeeper是由Apache Hadoop的子项目发展而来,于2010年11月正式成为了Apache的顶级项目。ZooKeeper为分布式应用提供了高效且可靠的分布式协调服务,提供了诸如统一命名服务
、配置管理
和分布式锁
等分布式的基础服务。在解决分布式一致性方面,ZooKeeper并没有直接采用Paxos算法,而是采用了一种被称为ZAB(ZooKeeper Atomic Broadcast)的一致性协议。
ZooKeeper是一个开放源代码的分布式协调服务,由知名互联网公司雅虎创建,是Google Chubby的开源实现。ZooKeeper的涉及目标是将那些复杂且容易出错的分布式一致性服务封装起来,构成一个高效可靠的原语集,并以一些列简单易用的接口提供给用户使用。
ZooKeeper在大型分布式系统中的应用案例:
- Hadoop
- HBase
- Kafka
- Alibaba 消息中间件 Metamorphosis(MetaQ)
- Alibaba RPC服务框架 Dubbo
- Alibaba 实时计算引擎 JStorm
2、ZooKeeper能做什么
ZooKeeper是一个典型的分布式数据一致性的解决方案,分布式应用程序可以基于它实现诸如数据发布/订阅
、负载均衡
、命名服务
、分布式协调/通知
、集群管理
、Master选举
、分布式锁
、分布式队列
和分布式Barrier
等功能。
ZooKeeper可以保证如下分布式一致特性
顺序一致性
从同一个客户端发起的事物请求,最终会严格按照其发起的顺序被应用到ZooKeeper中去。原子性
所有事物请求的处理结果在整个集群中所有机器上的应用情况是一致,也就是说,要么整个集群所有机器都成功应用了某一个事物,要么都没有应用,一定不会出现集群中部分机器应用了该事物,而另一部分没有应用的情况。单一视图(Single System Image)
无论客户端连接的是那个ZooKeeper服务器,其看到的服务端数据模型都是一致的。可靠性
一旦服务端成功的应用了一个事物,并完成对客户端的响应,那么该事物所引起的服务端状态变更将会一直保留下来,除非有另一个事物又对其进行了变更。实时性
通常人们看到实时性的第一反映是,一旦一个事物被成功应用,那么客户端能够立即从服务端上读取到这个事物变更后的最新数据状态。这里需要注意的是,ZooKeeper仅仅保证在一定的时间段内,客户端最终一定能够从服务端上读取到最新的数据状态(ZooKeeper是基于异步通知的)。
3、ZooKeeper核心
3.1、ZooKeeper安装
- 单机模式
- 集群模式
- 使用Docker搭建zookeeper集群
以下是使用Docker搭建包含5个zk节点集群对应zookeeper-compose.yml文件示例:
version: '3'services:zk01:image: zookeeper:3.3.6container_name: zk01expose:- "2181"
- "2888"
- "3888"
ports:- "2191:2181"
restart: alwaysenvironment:ZOO_MY_ID: 1ZOO_SERVERS: server.1=zk01:2888:3888 server.2=zk02:2888:3888 server.3=zk03:2888:3888 server.4=zk04:2888:3888 server.5=zk05:2888:3888networks:- zk_network
zk02:image: zookeeper:3.3.6container_name: zk02expose:- "2181"
- "2888"
- "3888"
ports:- "2192:2181"
restart: alwaysenvironment:ZOO_MY_ID: 2ZOO_SERVERS: server.1=zk01:2888:3888 server.2=zk02:2888:3888 server.3=zk03:2888:3888 server.4=zk04:2888:3888 server.5=zk05:2888:3888networks:- zk_network
zk03:image: zookeeper:3.3.6container_name: zk03expose:- "2181"
- "2888"
- "3888"
ports:- "2193:2181"
restart: alwaysenvironment:ZOO_MY_ID: 3ZOO_SERVERS: server.1=zk01:2888:3888 server.2=zk02:2888:3888 server.3=zk03:2888:3888 server.4=zk04:2888:3888 server.5=zk05:2888:3888networks:- zk_network
zk04:image: zookeeper:3.3.6container_name: zk04expose:- "2181"
- "2888"
- "3888"
ports:- "2194:2181"
restart: alwaysenvironment:ZOO_MY_ID: 4ZOO_SERVERS: server.1=zk01:2888:3888 server.2=zk02:2888:3888 server.3=zk03:2888:3888 server.4=zk04:2888:3888 server.5=zk05:2888:3888networks:- zk_network
zk05:image: zookeeper:3.3.6container_name: zk05expose:- "2181"
- "2888"
- "3888"
ports:- "2195:2181"
restart: alwaysenvironment:ZOO_MY_ID: 5ZOO_SERVERS: server.1=zk01:2888:3888 server.2=zk02:2888:3888 server.3=zk03:2888:3888 server.4=zk04:2888:3888 server.5=zk05:2888:3888networks:- zk_network
networks:zk_network:driver: bridge
3.2、ZooKeeper角色
Leader
Leader节点能够进行数据的读写Follower
Follower节点只能进行数据的读,不能进行数据的写。Follower能参与Leader的选举。Observer
Observer节点与Follower节点一样只能进行数据的读,与Follower节点的区别是,它不参与Leader的选举。
3.3、ZooKeeper节点类型
- 持久节点
- 持久顺序节点
- 临时节点
- 临时顺序节点
3.4、Java操作ZooKeeper
- 原生ZooKeeper Java API
所需依赖:
<dependency><groupId>org.apache.zookeeper</groupId><artifactId>zookeeper</artifactId><version>${zookeeper.version}</version></dependency>
- ZkClient
ZkClient是GitHub上一个开源的ZooKeeper客户端,是由Datameer的工程师Stefan Groschupf和Peter Voss一起开发的。ZkClient在ZooKeeper原生API接口之上进行了包装,是一个更易用的ZooKeeper客户端。同时,ZkClient在内部实现了诸如Session超时重连、Watcher反复注册等功能,使得ZooKeeper客户端的这些繁琐的细节工作对开发人员透明。
所需依赖:
<dependency><groupId>org.apache.zookeeper</groupId><artifactId>zookeeper</artifactId><version>${zookeeper.version}</version></dependency><dependency><groupId>com.github.sgroschupf</groupId><artifactId>zkclient</artifactId><version>${zkclient.version}</version></dependency>
- Curetor
Curator是Netflix公司开源的一套ZooKeeper客户端框架,作者是Jordan Zimmerman。和ZkClient一样,Curator解决了很多ZooKeeper客户端非常底层的细节开发工作,包括连接重连、反复注册Watcher和NodeExistsException异常等,目前已成为Apache的顶级项目,是全世界范围使用最广泛的ZooKeeper客户端之一,Patrick Hunt(ZooKeeper代码的核心提交者)以一句“Guava is to Java what Curator is to ZooKeeper”对其进行高度评价。
所需依赖:
<dependency><groupId>org.apache.zookeeper</groupId><artifactId>zookeeper</artifactId><version>${zookeeper.version}</version></dependency><dependency><groupId>org.apache.curator</groupId><artifactId>curator-framework</artifactId><version>${curator.version}</version></dependency>
另外,curator不仅为开发者提供了更为便利的API接口,而且还提供了一些典型场景的使用参考(Master选举、分布式锁、分布式计数器、分布式Barrier)以及一些工具类,极大的方便Java对ZooKeeper的操作,所需依赖:
<dependency><groupId>org.apache.curator</groupId><artifactId>curator-recipes</artifactId><version>${curator.recipes.version}</version></dependency>
4、ZooKeeper简单应用
4.1、数据发布/订阅
配置中心,例如360的QConf、百度的Disconf(持久节点)。
4.2、命名服务
分布式系统中的唯一ID,订单ID、商品ID等(持久顺序节点)。
4.3、分布式锁
ZooKeeper简单使用相关推荐
- ZooKeeper学习第一期---Zookeeper简单介绍(转)
转载来源:https://www.cnblogs.com/sunddenly/p/4033574.html 一.分布式协调技术 在给大家介绍ZooKeeper之前先来给大家介绍一种技术--分布式协调技 ...
- ZooKeeper学习-- Zookeeper简单介绍
前些天发现了一个巨牛的人工智能学习网站,通俗易懂,风趣幽默,忍不住分享一下给大家.点击跳转到教程. 一.分布式协调技术 在给大家介绍ZooKeeper之前先来给大家介绍一种技术--分布式协调技术.那么 ...
- SSM+Maven+Dubbo+Zookeeper简单项目实战以及易错注意点
最近为了熟悉Dubbo远程过程调用架构的使用,并结合SSM+Maven整合了简单的一套项目实战 直接看项目结构图 各模块介绍 dubbo-common:存放项目需要的公众类,像查询模型.数据库实体模型 ...
- ZooKeeper学习第一期---Zookeeper简单介绍
引用:http://www.cnblogs.com/sunddenly/p/4033574.html 加入了一部分个人理解 一.传统分布式系统(主备) 如图1.1备节点定时ping主节点,返回Ack. ...
- Zookeeper简单介绍
一.分布式协调技术 在给大家介绍ZooKeeper之前先来给大家介绍一种技术--分布式协调技术.那么什么是分布式协调技术?那么我来告诉大家,其实分布式协调技术 主要用来解决分布式环境当中多个进程之间的 ...
- Spring+Dubbo+Zookeeper简单框架与使用
为什么80%的码农都做不了架构师?>>> 例子参考地址:http://www.cnblogs.com/Javame/p/3632473.html 一.实例搭建 1.搭建框架前先 ...
- Maven+SpringMVC+Dubbo+zookeeper 简单的入门demo配置
参考:http://blog.csdn.net/aixiaoyang168/article/details/51362675 dubbo是一个分布式服务框架,致力于提供高性能和透明化的RPC远程服务调 ...
- zookeeper简单命令
1. 连接到zookeeper服务 [root@iiot-test-server1 bin]# sh zkCli.sh -server 127.0.0.1:2181 2. ls命令查看 [zk: 12 ...
- Zookeeper简单搭建
0)集群规划 在hadoop108.hadoop109和hadoop110三个节点上部署Zookeeper. 1)解压安装 (1)解压zookeeper安装包到/opt/module/目录下 [had ...
最新文章
- python大数据分析实例-用Python整合的大数据分析实例
- Java中的输入输出流
- PyQt编程之模态与非模态对话框(二)
- Vs 2015 批量 删除注释
- python定时器5秒执行一次_PLC编程之“自切断”定时器
- css 文本溢出 0302
- 2018蓝桥杯C++A组:三角形面积(海伦公式;向量的叉积)
- Primer – 支撑 GitHub 的 CSS 工具包和准则
- 网易2018校招内推编程题 小易喜欢的数列
- 分支定界法求解整数规划
- adrunio蜂鸣器音乐(天空之城)c调
- 什么是云服务器ECS?
- 文本摘要(text summarization)任务:研究范式,重要模型,评估指标(持续更新ing...)
- linux shell搜索某个字符串,然后在后面加上字符串?字符串后面插入字符串?sed字符串后面插入字符串?...
- 中国联通沃云----弹性块存储使用说明
- 为什么不是每个人都过着他梦想中的生活呢?
- 透视变换(perspective transformation)和射影(投影)变换(projective transformation)
- java怎么捕捉游戏窗口_捕捉桌面上的窗口信息
- ps cc 生成html,ps cc中怎么生成图像资源?
- python高级编程-网络编程、多任务