大数据生态（六）zookeeper集群部署(Linux和Windows[含一键启动脚本])
目录
前言
1、解压安装Zookeeper到/e3base/zookeeper目录下
2 、创建$E3_INFO_HOME/zookeeper目录
3 、创建数据目录和日志目录
4、配置环境变量
4.1添加zookeeper相关的环境变量
5、修改zookeeper脚本
5.1修改zookeeper应用的jdk环境路径
6、修改zookeeper的配置文件
7、创建myid文件
7.1创建
7.2 检测
Windows
1、下载
2、解压完即可
3、修改配置文件
3.1修改zoo.cfg文件
4、创建辅助数据和日志目录
5、复制集群其它节点
6、运行
windows一键运行脚本
1、测试
2、代码
3、效果
前言
e3base为用户名，e3base目录作为集群组件安装目录，e3-info是创建的存放组件数据和日志的文件夹。具体集群部署前提。
1、解压安装Zookeeper到/e3base/zookeeper目录下
tar -zxvf zookeeper-3.4.5-cdh5.14.0-e3base3.0.0.tar.gz -C /e3base/zookeeper
记得将
移到/e3base目录下并改名为zookeeper
提前部署已经写好$E3_INFO_HOME的配置变量
$E3_INFO_HOME = /e3base/e3-info
2 、创建$E3_INFO_HOME/zookeeper目录
3 、创建数据目录和日志目录
数据目录为$E3_INFO_HOME/zookeeper/data，日志目录为$E3_INFO_HOME/zookeeper/logs。这些目录可在配置文件中根据实际情况进行修改。
4、配置环境变量
4.1添加zookeeper相关的环境变量
vi .bash_profile
export IN_HOME=/e3base
export ZOO_HOME=$IN_HOME/zookeeper
export PATH=$ZOO_HOME/bin:$PATH
使其生效：
source .bash_profile
5、修改zookeeper脚本
5.1修改zookeeper应用的jdk环境路径
vi /e3base/zookeeper/conf/zookeeper-env.sh
填写正确路径
export JAVA_HOME=/usr/jdk/jdk1.8.0_91
export ZOO_LOG_DIR=/e3base/e3-info/zookeeper/log
6、修改zookeeper的配置文件
vi /e3base/zookeeper/conf/zoo.cfg
dataDir=/e3base/e3-info/zookeeper/data //zookeeper操作的数据目录
clientPort=11001 //zookeeper客户端连接的端口
server.1=e3base03:11002:11003 // server.id=host：port1：port2; id为第几号主机，host服务器名称/ip；port1\2分别为zookeeper服务器通信端口和选举端口
server.2=e3base04:11002:11003
server.3=e3base05:11002:11003
maxClientCnxns=20500 //最大链接客户端数量
7、创建myid文件
7.1创建
在/e3base/e3-info/zookeeper/data下创建myid文件，文件中写入该主机在zoo.cfg配置信息server.id=host：port1：port2项中对应的数字id。
touch /e3base/e3-info/zookeeper/data/myid //注意为Touch文件
在e3base03上执行： echo 1 > $E3_INFO_HOME/zookeeper/data/myid
在e3base04上执行： echo 2 > $E3_INFO_HOME/zookeeper/data/myid
在e3base05上执行： echo 3 > $E3_INFO_HOME/zookeeper/data/myid
7.2 检测
cat $E3_INFO_HOME/zookeeper/data/myid
Windows
1、下载
zookeeper下载地址
2、解压完即可
3、修改配置文件
3.1修改zoo.cfg文件
# The number of milliseconds of each tick 心跳间隔 毫秒每次
tickTime=2000
# The number of ticks that the initial
# synchronization phase can take
initLimit=10
# The number of ticks that can pass between
# sending a request and getting anacknowledgement
syncLimit=5
# the directory where the snapshot isstored. //镜像数据位置
dataDir=D:\\xxxxxx\\zookeeper\\data1
#日志位置
dataLogDir=D:\\xxxxxx\\zookeeper\\logs1
# the port at which the clients willconnect 客户端连接的端口
clientPort=2181
server.1=localhost:28888:38888
server.2=localhost:28889:38889
server.3=localhost:28890:38890
4、创建辅助数据和日志目录
5、复制集群其它节点
修改对应节点的编号，客户端连接的端口保持全量。
6、运行
zkServer.cmd
windows一键运行脚本
每次windows手动启动zk都要一个个点，比较麻烦，写个脚本一键运行。本质上脚本只是步骤的封装。
1、测试
bat文件直接运行cmd命令：
d:
Cd 目录
这个流程要有用来进路bin目录运行zk环境；
PS：
直接运行命令跑起来和start的区别：直接zkServer.cmd会等待执行完成后才跑下一个命令，而start则不会。
2、代码
.txt后缀改为.bat即可。
脚本完整语句。
d:
cd XXX\zookeeper\zookeeper-3.4.14-1\bin\
start zkServer.cmd
cd/
cd XXX\zookeeper\zookeeper-3.4.14-2\bin\
start zkServer.cmd
cd/
cd XXX\zookeeper\zookeeper-3.4.14-3\bin\
start zkServer.cmd3、效果
一个客户端启动三次
同样的创建数据目录data1、data2、data3在其对应下面放入myid文件，创建三个zoo.cfg、zoo_2.cfg、zoo_3.cfg。启动命令的时候带上参数：
可用命令：satrt status restart stop
./zkServer.sh start ../conf/zoo.cfg
./zkServer.sh start ../conf/zoo_2.cfg
./zkServer.sh start ../conf/zoo_3.cfg./zkServer.sh status ../conf/zoo.cfg
./zkServer.sh status ../conf/zoo_2.cfg
./zkServer.sh status ../conf/zoo_3.cfg定时清理
如果不设置定时清理日志数据，zk会积压导致磁盘空间不足，现象比如有：mysql无报错查询不反结果卡死->boot应用亦是如此。
netstat -lntp|grep 2181
pwdx pid
在zoo.cfg里面打开注释（3.4.0以后版本）：
#
# The number of snapshots to retain in dataDir
autopurge.snapRetainCount=60
# Purge task interval in hours
# Set to "0" to disable auto purge feature
autopurge.purgeInterval=48autopurge.purgeInterval 参数设置清理频率，单位小时，默认是0，表示不开启。autopurge.snapRetainCount 参数和清理频率搭配使用，这个参数指定需要保留的文件数目。默认是保留3个。
大数据生态（六）zookeeper集群部署(Linux和Windows[含一键启动脚本])相关推荐
- 大数据培训：Zookeeper集群管理与选举
1.集群机器监控 这通常用于那种对集群中机器状态,机器在线率有较高要求的场景,能够快速对集群中机器变化作出响应.这样的场景中,往往有一个监控系统,实时检测集群机器是否存活.过去的做法通常是:监控系统通 ...
- 大数据平台搭建及集群规划
CDH大数据平台搭建之集群规划_码上_成功的博客-CSDN博客_cdh集群规划 大数据Hadoop分布式集群部署(详细版)_arnoldmp的博客-CSDN博客_分布式集群部署 大数据平台的硬件规划. ...
- 【大数据数仓项目集群配置 一】
本文用于记录我的第一次内网大数据集群配置过程. 本篇主要实现基础配置. 配置使用的软件版本和脚本参考自尚硅谷,链接如下: 链接: https://www.bilibili.com/video/BV1r ...
- Linux下搭建 kafka集群 + zookeeper集群部署 安装、启动、停止
文章目录 一.环境部署总览 1. 软件版本选型 2. 服务器软件部署总览 二.软件部署手册 2.1. JDK 2.2. kafka 2.3. Kafka Eagle 2.4. mysql 2.5. z ...
- CDH大数据平台搭建之集群规划
CDH大数据平台搭建之集群规划 前言 一.集群规模 二.集群规划 总结 前言 话说无规矩不成方圆,搭建CDH大数据平台之前需要的工作很多,首先,你需要计算公司每日的数据量,来确定需要多少服务器,确定好 ...
- Zookeeper集群部署和使用
Zookeeper 由 Apache Hadoop 的 Zookeeper 子项目发展而来,Google Chubby的一个开源实现.它是一个分布式应用程序协调服务,提供的功能包括:配置管理,名字服务 ...
- 大数据平台，Hadoop集群架构，概述及原理
目录 一,大数据平台架构概述 1,大数据概念 2,大数据的特征 3,大数据的处理流程和相关技术 4,大数据平台架构的特点 5,大数据平台架构原理 二,Hadoop集群概述 1,HDFS 2,MapRe ...
- zookeeper集群部署监控与选举同步流程等工作原理
部署一个zookeeper集群,要多简单就能有多简单(下载压缩包,解压,修改配置文件zoo.cfg,执行启动脚本),但是想要真的把这套东西玩好了,还是需要费些功夫研究一番的.就跟自己搭建一个lnmp的 ...
- 【大数据】搭建Hadoop集群，超级详细
目录 搭建完全分布式运行模式(开发重点) 1.1 Hadoop部署 1.2 配置集群 1.3 配置历史服务器 1.4 配置日志的聚集 1.5 分发Hadoop 1.6 群起集群 1.7 Hadoop群 ...
最新文章
- 图片视角转换 cv2.warpPerspective
- Python_logging模块
- Linux学习-01-安装虚拟机与linux系统
- python数据结构_大O符号_学习笔记（1）
- delphi制作上下开幕效果_2019中超联赛揭幕战在深圳举行 现场开幕式亮点多多
- 更新显示当前歌曲的名称 winform 0130
- 【人工智能】全网首发！2020年AI、CV、NLP等最全国际会议、顶会时间汇总！！
- java实验类与对象_【实验课件】上机实践2 类与对象
- udp协议服务器客户端流程图,UDP 协议通信服务器端客户端.doc
- ajax 解决csrf的3种方法，input标签的文件上传
- (转自dflying chen)使用Anthem.NET 1.5中的FileUpload控件实现Ajax方式的文件上传
- java服务器客户端程序在联机运行时被防火墙拦截
- 深度学习分类pytorch_立即学习AI：02 —使用PyTorch进行分类问题简介
- nc windows安装教程
- HTML思维导图+学习笔记+实际案例
- 企业微信会员运营 打破传统营销方式开启全渠道会员营销新模式
- 关于搭建FTP服务器
- 前端项目网易云音乐移动端经验总结
- 0x800700c1添加语言,Win10更新失败出现”0x800700C1“错误的解决方法
- Pandas 时间序列 - DateOffset 对象
热门文章