http://www.zlovezl.cn/articles/40/

简介:

  Zookeeper 分布式服务框架是 Apache Hadoop 的一个子项目,它主要是用来解决分布式应用中经常遇到的一些数据管理问题,如:统一命名服务、状态同步服务、集群管理、分布式应用配置项的管理等。

具体简介可以参照这篇文章。

zkpython的安装:

python中有一个zkpython的包,是基于zookeeper的c-client开发的,所以安装的时候需要先安装zookeeper的c客户端。安装步骤如下:

# 首先下载zookeeper
wget http://labs.renren.com/apache-mirror//zookeeper/zookeeper-3.3.3/zookeeper-3.3.3.tar.gz
tar xzvf zookeeper-3.3.3.tar.gz
cd zookeeper-3.3.3/src/c/
./configure
make
make install# 然后下载zkpython
wget http://pypi.python.org/packages/source/z/zkpython/zkpython-0.4.tar.gz#md5=3de220615aaddf57f1462b78d32477f9
tar xzvf zkpython-0.4.tar.gz
cd zkpython-0.4
python setup.py install

这样就完成了zkpython的安装。

一个简单的demo:

之后让我们来写一个简单的demo吧。(demo中用到的zkclient.py:https://github.com/piglei/zkpython_example/blob/master/zkclient.py)

# coding: utf-8
import logging
from os.path import basename, joinfrom zkclient import ZKClient, zookeeper, watchmethodlogging.basicConfig(level = logging.DEBUG,format = "[%(asctime)s] %(levelname)-8s %(message)s"
)log = loggingclass GJZookeeper(object):ZK_HOST = "localhost:2181"ROOT = "/app"WORKERS_PATH = join(ROOT, "workers")MASTERS_NUM = 1TIMEOUT = 10000def __init__(self, verbose = True):self.VERBOSE = verboseself.masters = []self.is_master = Falseself.path = Noneself.zk = ZKClient(self.ZK_HOST, timeout = self.TIMEOUT)self.say("login ok!")# initself.__init_zk()# registerself.register()def __init_zk(self):"""create the zookeeper node if not exist"""nodes = (self.ROOT, self.WORKERS_PATH)for node in nodes: if not self.zk.exists(node):try:self.zk.create(node, "")except:pass@propertydef is_slave(self):return not self.is_masterdef register(self):"""register a node for this worker"""self.path = self.zk.create(self.WORKERS_PATH + "/worker", "1", flags=zookeeper.EPHEMERAL | zookeeper.SEQUENCE)self.path = basename(self.path)self.say("register ok! I'm %s" % self.path)# check who is the masterself.get_master()def get_master(self):"""get children, and check who is the smallest child"""@watchmethoddef watcher(event):self.say("child changed, try to get master again.")self.get_master()children = self.zk.get_children(self.WORKERS_PATH, watcher)children.sort()self.say("%s's children: %s" % (self.WORKERS_PATH, children)) # check if I'm masterself.masters = children[:self.MASTERS_NUM]if self.path in self.masters:self.is_master = Trueself.say("I've become master!")else:self.say("%s is masters, I'm slave" % self.masters)def say(self, msg):"""print messages to screen"""if self.VERBOSE:if self.path:log.info("[ %s(%s) ] %s" % (self.path, "master" if self.is_master else "slave", msg))else:log.info(msg)def main():gj_zookeeper = GJZookeeper()if __name__ == "__main__":main()import timetime.sleep(1000)

  这个简单的demo所做的事情,就是通过在zookeeper的/app/workers节点下建立临时的子节点( flags=zookeeper.EPHEMERAL | zookeeper.SEQUENCE ),每次create完成之后检查自己是不是在最小的MASTERS_NUM(例子中为1,即单master)里。如果是的话,作为master运行,否则的话,作为slave运行。

  这样的话,当我们的master挂掉以后,与zookeeper之间的连接也会中断,过了指定的TIMEOUT以后,master之前在worker下的子节点就会被删除,于是slave节点之前设置的watcher会被触发,再次检查自己是否为master,如果是的话则完成切换。

demo运行结果:

# 第一个实例
Connected in 20 ms, handle is 0
[2011-09-09 12:40:43,702] INFO     login ok!
Node /app/workers/worker created in 4 ms
[2011-09-09 12:40:43,708] INFO     [ worker0000000022(slave) ] register ok! I'm worker0000000022
[2011-09-09 12:40:43,709] INFO     [ worker0000000022(slave) ] /app/workers's children: ['worker0000000022']
[2011-09-09 12:40:43,709] INFO     [ worker0000000022(master) ] I've become master!# 这时再起第二个实例
Connected in 64 ms, handle is 0
[2011-09-09 12:43:08,334] INFO     login ok!
Node /app/workers/worker created in 11 ms
[2011-09-09 12:43:08,346] INFO     [ worker0000000023(slave) ] register ok! I'm worker0000000023
[2011-09-09 12:43:08,347] INFO     [ worker0000000023(slave) ] /app/workers's children: ['worker0000000022', 'worker0000000023']
[2011-09-09 12:43:08,347] INFO     [ worker0000000023(slave) ] ['worker0000000022'] is masters, I'm slave# 杀掉master,第二个实例发生的变化
[2011-09-09 12:44:06,016] INFO     [ worker0000000023(slave) ] child changed, try to get master again.
[2011-09-09 12:44:06,017] INFO     [ worker0000000023(slave) ] /app/workers's children: ['worker0000000023']
[2011-09-09 12:44:06,017] INFO     [ worker0000000023(master) ] I've become master!

转载于:https://www.cnblogs.com/DjangoBlog/p/3808543.html

在python中使用zookeeper管理你的应用集群相关推荐

  1. pythonspark集群模式运行_有关python numpy pandas scipy 等 能在YARN集群上 运行PySpark

    有关这个问题,似乎这个在某些时候,用python写好,且spark没有响应的算法支持, 能否能在YARN集群上 运行PySpark方式, 将python分析程序提交上去? Spark Applicat ...

  2. Rainbond 5.0正式发布, 支持对接管理已有Kubernetes集群...

    Rainbond 5.0正式发布, 支持对接管理已有Kubernetes集群 ​ 今天非常高兴向大家宣布Rainbond v5.0正式发布,Rainbond是开源的企业应用云操作系统,支撑企业应用开发 ...

  3. TDH 集群的许可证管理机制及TDH集群的卸载与安装

    目录 一.背景:Tdh集群的许可证管理机制 二.Tdh集群的许可证管理机制的具体技术细节 三.Tdh集群的安装 四.TDH集群的卸载 五.TDH集群卸载过程中的问题说明 一.背景:Tdh集群的许可证管 ...

  4. Hadoop详解(五)——ZooKeeper详解,ZooKeeper伪分布搭建和集群搭建,Hadoop集群搭建,sqoop工具的使用

    ZooKeeper简介 什么是ZooKeeper? ZooKeeper是Google的Chubby一个开源的实现,是Hadoop分布式协调服务. 它包含了一个简单的原语集,分布式应用程序可以基于它实现 ...

  5. 京东如何基于Vitess管理大型MySQL实例集群

    本文根据dbaplus社群第203期线上分享整理而成 讲师介绍 王云博 京东数据库高级研发工程师 2014年加入京东,一直致力于数据库运维自动化的发展: 2018年专注于京东弹性数据库研发.运维工作. ...

  6. 以一致的体验交付和管理云原生多集群应用

    作者:冯泳,孙健波 大家好,很高兴能在 KubeCon 中国峰会给大家做分享,今天的主题是"以一致的体验构建和管理多集群应用",主角是 KubeVela 和 OCM,这两个都是 C ...

  7. 管理和维护RHCS集群

    导读 管理和维护RHCS集群是一个非常复杂和繁琐的工作,要维护好一个RHCS集群,必须熟悉RHCS的基本运行原理,在集群管理方面,RHCS提供了两种方式:即Luci图形界面方式和命令行方式,这儿重点讲 ...

  8. (转)淘淘商城系列——使用Spring来管理Redis单机版和集群版

    http://blog.csdn.net/yerenyuan_pku/article/details/72863323 我们知道Jedis在处理Redis的单机版和集群版时是完全不同的,有可能在开发的 ...

  9. 生产环境安装、配置、管理PostgreSQL14.5数据库集群。pgpool 4.3.3参数中文说明

    1 生产环境安装.配置.管理PostgreSQL14.5 欢迎观看我发布的视频 "生产环境安装.配置.管理PostgreSQL14.5数据库集群" 数据库软件不是简单的安装上就好, ...

最新文章

  1. 学生管理系统(C语言版)
  2. 远程桌面连接“发生身份验证错误。 无法连接到本地安全机构”解决方法
  3. SpringAMQP--DirectExchange
  4. 怎么进行数据平滑滤波_气相色谱数据处理方法 EWG1990仪器学习网
  5. 联想ThinkCentre M8400t-n000等高配电脑重装成xp蓝屏0xc000007b代码
  6. c++ _mkdir无法创建文件夹_Python脚本4:根据txt文本,批量创建文件夹
  7. 怎么在php分页上结束分页,很经典的分页程序,该如何处理
  8. NTP原理及配置使用
  9. 将自己的姿态放低:你应具备赚钱以外的四种能力
  10. 全自动驾驶论文_自动驾驶汽车:我们距离全自动驾驶有多近?
  11. dcs系统中数据服务器的冗余,如何提升DCS系统的可靠性?这篇文章讲透了
  12. python不用模块随机列表_python不用库实现随机 如何用python实现随机抽取
  13. JAVA 油站管理系统_加油站管理系统
  14. 有道换域名,目标中立、客观、包容
  15. 天翼云流量服务器,天翼云CDN常见问题解答
  16. 字符串格式化-format()
  17. 尘封多年的期权,价值千万...
  18. WRF官网案例运行01
  19. verilog 中的冒泡排序法
  20. 关于JS里的数组和对象的日常使用

热门文章

  1. 第34课 生命周期与素数 《小学生C++趣味编程》
  2. 1.5编程基础之循环控制 01 求平均年龄
  3. jquery 判断点击次数_jquery编程开发实现点击页面计算点击次数
  4. 【ES6(2015)】Class (类)
  5. sparkstreaming 读取mysql_SparkStreaming读取Kafka的两种方式
  6. i12蓝牙耳机使用说明书图片_飞利浦SHB4385 BASS+无线蓝牙耳机晒单 使用体验
  7. Qt文档阅读笔记-void QObject::deleteLater()解析
  8. C++笔记-二维棋盘数组转邻接表(使用QTL)
  9. Java笔记-构造RESTful的WebService
  10. C/C++获取CPU相关信息(非WMI)