Zookeeper是一种在分布式系统中被广泛用来作为:分布式状态管理、分布式协调管理、分布式配置管理、和分布式锁服务的集群。kafka增加和减少服务器都会在Zookeeper节点上触发相应的事件kafka系统会捕获这些事件,进行新一轮的负载均衡,客户端也会捕获这些事件来进行新一轮的处理。

Kafka集群是把状态保存在Zookeeper中的,首先要搭建Zookeeper集群。

  • Linux服务器一台、三台、五台、(2*n+1),是否可以用偶数,不一定,其实没必要。假设集群中有3台服务器在工作,根据zookeeper的工作原理,只要有半数以上存活,那么整个集群就能对外服务,3台中超过两台超过半数,允许1台挂掉。如果有4台,那么不允许挂掉2台,因为剩余2台的话,也没有超过半数,也就是只允许挂掉1台。
  • Zookeeper是用java写的所以他的需要JAVA环境,java是运行在java虚拟机上的,本博客http://www.cnblogs.com/wt645631686/p/8267239.html有安装方法。
  • Zookeeper的稳定版本Zookeeper 3.4.6版本

开始搭建

一、环境准备

环境:Centos6,三台服务器,分别是192.168.244.131、192.168.244.133、192.168.244.134,Java版本1.8

Zookeeper3.6.4下载地址  链接:https://pan.baidu.com/s/1XlQ4viDo-q0J66geFyErvQ 提取码:h7to 

二、目录创建

在每台机器的/usr/local/创建zookeeper目录,然后分别下载Zookeeper的tag包到/usr/local/zookeeper(项目目录)目录下,在/usr/local/zookeeper创建zkdata(存放快照日志)和zkdataLog(存放事务日志)目录,用于zookeeper的配置。

三、解压包,并复制、修改配置文件

# tar -zxvf zookeeper-3.4.6.tar.gz
# cd zookeeper-3.4.6/conf/
# cp zoo_sample.cfg zoo.cfg  //zoo_sample.cfg  这个文件是官方给我们的zookeeper的样板文件,给他复制一份命名为zoo.cfg,zoo.cfg是官方指定的文件命名规则。

//--------------------------------conf start------------------------
# The number of milliseconds of each tick
tickTime=2000  //这个时间是作为 Zookeeper 服务器之间或客户端与服务器之间维持心跳的时间间隔,也就是每个 tickTime 时间就会发送一个心跳。
# The number of ticks that the initial
# synchronization phase can take
initLimit=10  //这个配置项是用来配置 Zookeeper 接受客户端(这里所说的客户端不是用户连接 Zookeeper 服务器的客户端,而是 Zookeeper 服务器集群中连接到 Leader 的 Follower 服务器)初始化连接时最长能忍受多少个心跳时间间隔数。当已经超过 5个心跳的时间(也就是 tickTime)长度后 Zookeeper 服务器还没有收到客户端的返回信息,那么表明这个客户端连接失败。总的时间长度就是 5*2000=10 秒,10秒内要启动集群并出现leader和floower。
# The number of ticks that can pass between
# sending a request and getting an acknowledgement
syncLimit=5  //这个配置项标识 Leader 与Follower 之间发送消息,请求和应答时间长度,最长不能超过多少个 tickTime 的时间长度,总的时间长度就是5*2000=10秒,超出时间认为是死机。
# the directory where the snapshot is stored.
# do not use /tmp for storage, /tmp here is just
# example sakes.
dataDir=/usr/local/zookeeper/zkdata  //快照日志的存储路径
dataLogDir=/usr/local/zookeeper/zkdataLog  //事物日志的存储路径,如果不配置这个那么事物日志会默认存储到dataDir制定的目录,这样会严重影响zk的性能,当zk吞吐量较大的时候,产生的事物日志、快照日志太多
# the port at which the clients will connect
clientPort=12181  //这个端口就是客户端连接 Zookeeper 服务器的端口,Zookeeper 会监听这个端口,接受客户端的访问请求。修改他的端口改大点

server.1=192.168.244.131:12888:13888
server.2=192.168.244.133:12888:13888
server.3=192.168.244.134:12888:13888
# the maximum number of client connections.
# increase this if you need to handle more clients
#maxClientCnxns=60
//-------------------------------conf end-----------------------------------//server.1 这个1是服务器的标识也可以是其他的数字, 表示这个是第几号服务器,用来标识服务器,这个标识要写到快照目录下面myid文件里
//192.168.244.131为集群里的IP地址,第一个端口是master和slave之间的通信端口,默认是2888,第二个端口是leader选举的端口,集群刚启动的时候选举或者leader挂掉之后进行新的选举的端口默认是3888

四、每台服务器创建myid文件

既然在配置文件中设定了每台机器的标识,标识要写在快照目录下面,需要进入zkdata目录下创建,对应好配置文件的ip,和server id。

//server1  192.168.244.131
#echo "1" > /usr/local/zookeeper/zkdata/myid
//server2  192.168.244.133
# echo "2" > /usr/local/zookeeper/zkdata/myid
//server3  192.168.244.134
# echo "3" > /usr/local/zookeeper/zkdata/myid

五、启动三台zookeeper

进入每台zookeeper服务器的/usr/local/zookeeper/zookeeper-3.4.6/bin目录,启动zkServer

# ./zkServer.sh   //查看有哪些命令
JMX enabled by default
Using config: /usr/local/zookeeper/zookeeper-3.4.6/bin/../conf/zoo.cfg
Usage: ./zkServer.sh {start|start-foreground|stop|restart|status|upgrade|print-cmd}

# ./zkServer.sh  start  //启动
JMX enabled by default
Using config: /usr/local/zookeeper/zookeeper-3.4.6/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED

下面查看每台zookeeper的状态,这里可能会报错,先把每台的防火墙关掉再执行查看命令

192.168.244.131

# ./zkServer.sh status    //192.168.244.131
JMX enabled by default
Using config: /usr/local/zookeeper/zookeeper-3.4.6/bin/../conf/zoo.cfg
Mode: follower

192.168.244.133

# ./zkServer.sh  status
JMX enabled by default
Using config: /usr/local/zookeeper/zookeeper-3.4.6/bin/../conf/zoo.cfg
Mode: leader

192.168.244.134

# ./zkServer.sh  status
JMX enabled by default
Using config: /usr/local/zookeeper/zookeeper-3.4.6/bin/../conf/zoo.cfg
Mode: follower

leader是表示领导,follower表示是属下,zookeeper集群一般只有一个leader,多个follower,主(leader)一般是相应客户端的读写请求,向(follower)发送数据,而从(follower)主要是同步数据,当主挂掉之后就会从follower里重新选举一个leader出来。

到此,zookeeper集群搭建完毕。

可以用“jps”查看zk的进程,这个是zk的整个工程的main

# jps
4912 Jps
4064 QuorumPeerMain  //zk工程的类

其他说明

一、log4j.properties配置文件

  • https://www.cnblogs.com/30go/p/7200739.html
  • https://www.cnblogs.com/likui360/p/7992982.html
  • https://blog.csdn.net/damacheng/article/details/42393827

二、zkEnv.sh和zkServer.sh文件

  • zkServer.sh 主的管理程序文件
  • zkEnv.sh 是主要配置,zookeeper集群启动时配置环境变量的文件

三、事务日志文件的清理(zoo.cfg的dataLogDir配置项)

工作时会产生大量日志,不清理会沾满自盘,所以需要清理。

官网说明:http://zookeeper.apache.org/doc/r3.3.3/zookeeperAdmin.html#sc_maintenance

ZooKeeper server will not remove old snapshots and log files when using the default configuration (see autopurge below), this is the responsibility of the operator

使用默认配置时,ZooKeeper服务器不会删除旧的快照和日志文件(参见下面的自动清除),这是操作员的职责。

自动定时定期清理的脚本,每台机器都需要设定同样的定时任务

#!/bin/bash #snapshot file dir
dataDir=/usr/local/zookeeper/zkdata/version-2
#tran log dir
dataLogDir=/usr/local/zookeeper/zkdatalog/version-2#Leave 66 files
count=66
count=$[$count+1]
ls -t $dataLogDir/log.* | tail -n +$count | xargs rm -f
ls -t $dataDir/snapshot.* | tail -n +$count | xargs rm -f #以上这个脚本定义了删除对应两个目录中的文件,保留最新的66个文件,可以将他写到crontab中,设置为每天凌晨2点执行一次就可以了。#zk log dir   del the zookeeper log
#logDir=
#ls -t $logDir/zookeeper.log.* | tail -n +$count | xargs rm -f

举例,让每个星期天的0点0分执行。

# crontab -e
0 0 * * 0 sh /usr/local/zookeeper/cleanup.sh  //分时日月周,周是0-6,0表示周日
# crontab -l
sh /usr/local/zookeeper/cleanup.sh

其他方法:

①使用ZK的工具类PurgeTxnLog,它的实现了一种简单的历史文件清理策略,可以在这里看一下他的使用方法 http://zookeeper.apache.org/doc/r3.4.6/zookeeperAdmin.html
②对于上面这个执行,ZK自己已经写好了脚本,在bin/zkCleanup.sh中,所以直接使用这个脚本也是可以执行清理工作的。
③从3.4.0开始,zookeeper提供了自动清理snapshot和事务日志的功能,通过配置 autopurge.snapRetainCount 和 autopurge.purgeInterval 这两个参数能够实现定时清理了。这两个参数都是在zoo.cfg中配置的:
autopurge.purgeInterval 这个参数指定了清理频率,单位是小时,需要填写一个1或更大的整数,默认是0,表示不开启自己清理功能。
autopurge.snapRetainCount 这个参数和上面的参数搭配使用,这个参数指定了需要保留的文件数目。默认是保留3个。
推荐使用脚本清理,对于运维人员来说,将日志清理工作独立出来,便于统一管理也更可控。

转载于:https://www.cnblogs.com/wt645631686/p/8447942.html

Kafka学习之(五)搭建kafka集群之Zookeeper集群搭建相关推荐

  1. Spark集群基于Zookeeper的HA搭建部署笔记(转)

    原文链接:Spark集群基于Zookeeper的HA搭建部署笔记 1.环境介绍 (1)操作系统RHEL6.2-64 (2)两个节点:spark1(192.168.232.147),spark2(192 ...

  2. Kafka学习:CentOS7下Kafka集群搭建

    文章目录 准备 集群安装 1.创建目录 2.解压缩安装包 3.修改配置文件 4.启动 5.查看集群是否安装成功 测试Kafka 1.创建测试mytopic 2.查看mytopic副本信息 3.查看已创 ...

  3. Kafka---如何配置Kafka集群和zookeeper集群

    2019独角兽企业重金招聘Python工程师标准>>> Kafka的集群配置一般有三种方法,即 (1)Single node – single broker集群: (2)Single ...

  4. 1、大数据集群搭建之----jdk安装和zookeeper集群安装

    这里废话不多说,上来就干.(如果配置不成功或遇到问题,可以留言,共同解决问题) 我的百度网盘里面有所有的用到的软件,永久有效无加密. https://pan.baidu.com/s/1pqW6bHxh ...

  5. Kafka学习笔记(一):Kafka基本概念理解

    ActiveMQ.RabbitMQ是用的比较多得消息队列,但是随着时间的推移,大数据的应运而生,这两种消息队列使用的也是越来越少了,Kafka渐渐进入开发人员的视线,再加上Kafka天生的集群运行.大 ...

  6. Kafka学习之路(一)Kafka的简介

    一丶简介 1.1概述 Kafka是最初由Linkedin公司开发,是一个分布式,分区的,多副本的,多订阅者,基于zookeeper协调的分布式日志系统也可以当做MQ系统常见可以用web/nignx日志 ...

  7. 【博学谷学习记录】超强总结,用心分享 | ZooKeeper集群

    #博学谷IT技术支持# 一.ZooKeeper集群搭建 1.下载ZooKeeper压缩包,官网,这里以3.4.6版本为例. 2.解压到/export/server路径准备安装. cd /export/ ...

  8. 配置Kafka集群和zookeeper集群

    原文链接请参见:http://www.cnblogs.com/5iTech/articles/6043224.html 转载于:https://www.cnblogs.com/moonandstar0 ...

  9. kafka学习(二)kafka工作流程分析

    本文借鉴:再过半小时,你就能明白kafka的工作原理了(特此感谢!) 一.发送数据 PS:Producer在写入数据的时候永远的找leader,不会直接将数据写入follower 1.follower ...

最新文章

  1. (五)Docker镜像管理1之镜像操作
  2. python将16进制字符串转换为整数_Python 16进制与字符串的转换
  3. php 查看扩展 代码,[扩展推荐] 使用 PHP Insights 在终端查看 PHP 项目代码质量
  4. Java自引用造成的死循环
  5. UI设计师应该知道的汉字体种类的用途(免费素材)
  6. 第三方登录页面java_第三方登录接口使用说明(JAVA)
  7. 开源,想说爱你不容易
  8. 详细安装WIN 10纯净版(虚拟机安装、真机笔记本安装)
  9. 查看solaris系统的版本和位数
  10. MongoDB数据同步工具mongosync
  11. live555 RTSP服务器与客户端通信源码分析
  12. 深度学习常用框架和基础模型
  13. Python + 批量裁剪图片
  14. 亚信科技收购趋势科技中国
  15. 高德地图加载不出来,有高德的logo,但地图一片空白
  16. 已解决:网易邮箱smtphz.qiye.163.com在阿里云环境发不出邮件的问题
  17. 《股票作手回忆录》书中的精髓:上世纪美国最伟大的交易员杰西·利弗莫尔带给我们的交易思想精华。
  18. GPU矩阵点积代码实现及分析
  19. uniapp导航切换(一个页面可以切换3个子页面)
  20. python发送邮件DEMO

热门文章

  1. 开发者福利:史上最全Android 开发和安全系列工具
  2. 以Binder视角来看Service启动
  3. Android6.0 wakelock深入分析
  4. 树莓派linux系统识别u盘启动,树莓派Raspberry Pi实战之命令行下实现USB存储设备自动挂载...
  5. Socket详解——全面明了
  6. python计算两个数乘积_如何用PYTHON使两个数字总和变成乘积
  7. python 求两条曲线的交点_这几种问法都是考察张角问题,高考数学圆锥曲线的焦点弦张角定理...
  8. 学习操作系统的经典书籍
  9. 数据挖掘在企业中应用的四种途径
  10. python装饰器两层和三层区别_学习python的第十五天(函数的装饰器,两层装饰器和三层装饰器)...