Zookeeper 简介 与 集群配置

【Storm的各个组件间是通过这个组件进行通信】
简介:
Zookeeper是一个开源的分布式协调服务的框架,使各个机器进行之间进行通信

1.1核心功能:
  • 文件系统
  • 通知机制

文件系统:

类似于linux的文件系统目录结构,从根目录(/)开始

1.每一个目录都是一个znode节点

2.每一个znode节点可直接存储数据

3.类型:持久化,持久化顺序,临时,临时顺序

通知机制:

  • 客户端监听关心的znode节点
  • Znode节点有变化(数据改变、删除、子目录添加删除),通知客户端处理
1.2 zookeeper的安装

下载:直接去官网:zookeeper.apache.org或CDH5进行下载
/opt/soft [下载位置]
/opt/module 【解压位置】
下载 *.tar.gz
解压 tar –zxvf *tar.gz –C /apps

解压后的主要目录结构:
bin:包含

  • zkCli.sh 【命令行客户端,可以去连接到这个文件系统,类似于hadoop fs】
  • zkCleanup.sh [zk是一个小型文件系统,用于清理数据信息,保证各个节点的数据一致]
  • zkEnv.sh [环境变量的一些东西]
  • zkServer.sh 【zk服务器的启动停止等操作】

conf:包含

  • log4j.properties 日志输出级别
  • zoo_sample.cfg mv zoo_sample.cfg zoo.cfg
  • [tickTime:客户端与zk服务器的心跳时间,各个znode节点也要保持心跳]
  • InitLimit 启动集群时候,选举Nimbus节点的最大时间 tickTime* InitLimit
  • SyncLimit 集群中各个znode节点进行数据同步时候,保持数据一致性,进行数据同步的最大时间,超过这个时间,数据会同步失败
  • dataDir zookeeper是一个小型的文件系统,将数据存放在哪里配置
  • clientPort 客户端访问zk服务器的端口号2181去连接到这个服务器

在解压后的目录新建一个data的目录用于存放zk的数据
将$ZK_HOME/data 替换conf/zoo.cfg 中的dataDir

启动bin/zkServer.sh start
Jps
Or
bin/zkServer.sh status

  • standalone状态
1.3 zk的命令行客户端

去连接zk服务器
bin/zkCli.sh
这样会连接本地的zk服务器‘
里面的操作类似于linux的操作
输入ls
查看根目录有什么 ls /
查看目录下面的数据 get /
创建目录 create /test 111
查看数据 get /test 得到111
修改数据 set /test 222
再次查看: get /test 得到222
删除数据rmr /test
再次查看 ls / 无test目录

1.4 zookeeper的集群搭建

(推荐1,3,5这样的节点数,在进行节点选举的时候,保证能选举一个主节点出来)

启动三个机器
配置第一台
步骤一:在单机的基础(解压后修改dataDir的目录)上,添加配置项
server. 这个id是唯一的
2888端口 服务器之间是需要进行数据的同步的
3888端口 集群在启动的时候进行选举Nimbus节点

server.1=192.168.1.1:2888:3888
server.2=192.168.1.2:2888:3888
server.3=192.168.1.3:2888:3888

步骤二: 在什么地方进行存储,当前机器是哪一个ID
在$ZK_HOME/data 目录下 新建文件myid 用于存储这个id
Vim $ZK_HOME/data/myid 写入1 :wq即可
步骤三:拷贝第一台服务器到其余两台服务器上面去

scp -r zookeeper-3.4.5/ root@192.168.1.2:/opt/module
即可
在这之前可以配置ssh的免密码登录

拓展:

1.HOSTNAME主机名:vim /etc/sysconfig/network

2.配置ip与主机名之间的映射关系
Vim /etc/hosts
192.168.1.1 hadoop001
192.168.1.2 hadoop002
192.168.1.3 hadoop003

启动zk集群
在每一台上面都要进行启动,bin/zkServer.sh start
Bin/zkServer.sh status 状态为:leader 主节点
Bin/zkServer.sh status 状态为:follower 从节点

ZKcli从1-2-3
192.168.1.1可以使用bin/zkCli.sh -server 192.168.1.2:2181
进入之后,connect 192.168.1.3:2181

Zookeeper 入门,看这篇就够了相关推荐

  1. [转]Zookeeper入门看这篇就够了

    Zookeeper是什么 官方文档上这么解释zookeeper,它是一个分布式服务框架,是Apache Hadoop 的一个子项目,它主要是用来解决分布式应用中经常遇到的一些数据管理问题,如:统一命名 ...

  2. Zookeeper入门看这篇就够了

    Zookeeper是什么 官方文档上这么解释zookeeper,它是一个分布式服务框架,是Apache Hadoop 的一个子项目,它主要是用来解决分布式应用中经常遇到的一些数据管理问题,如:统一命名 ...

  3. React入门看这篇就够了

    2019独角兽企业重金招聘Python工程师标准>>> 摘要: 很多值得了解的细节. 原文:React入门看这篇就够了 作者:Random Fundebug经授权转载,版权归原作者所 ...

  4. groovy if 判断字符串_Groovy快速入门看这篇就够了

    原标题:Groovy快速入门看这篇就够了 来自:刘望舒(微信号:liuwangshuAndroid) 前言 在前面我们学习了和两篇文章,对Gradle也有了大概的了解,这篇文章我们接着来学习Groov ...

  5. .NET Core实战项目之CMS 第五章 入门篇-Dapper的快速入门看这篇就够了

    写在前面 上篇文章我们讲了如在在实际项目开发中使用Git来进行代码的版本控制,当然介绍的都是比较常用的功能.今天我再带着大家一起熟悉下一个ORM框架Dapper,实例代码的演示编写完成后我会通过Git ...

  6. 动态规划入门看这篇就够了,万字长文!

    今天是小浩算法 "365刷题计划" 动态规划 - 整合篇.大家应该期待已久了吧!奥利给! 01 PART 动态规划是啥 我们把要解决的一个大问题转换成若干个规模较小的同类型问题,当 ...

  7. 监听器入门看这篇就够了

    什么是监听器 监听器就是一个实现特定接口的普通java程序,这个程序专门用于监听另一个java对象的方法调用或属性改变,当被监听对象发生上述事件后,监听器某个方法将立即被执行.. 为什么我们要使用监听 ...

  8. 通俗易懂 !Kafka 开发快速入门看这篇就够了

    写在前面:我是「云祁」,一枚热爱技术.会写诗的大数据开发猿.昵称来源于王安石诗中一句 [ 云之祁祁,或雨于渊 ] ,甚是喜欢.写博客一方面是对自己学习的一点点总结及记录,另一方面则是希望能够帮助更多对 ...

  9. python scrapy 入门_Python爬虫Scrapy入门看这篇就够了

    一.初窥scrapy scrapy中文文档: http://scrapy-chs.readthedocs.io/zh_CN/latest/ Scrapy是一个为了爬取网站数据,提取结构性数据而编写的应 ...

  10. React入门看这篇就够了《转载,侵删》

    react - JSX React 背景介绍 React 入门实例教程 React 起源于 Facebook 的内部项目,因为该公司对市场上所有 JavaScript MVC 框架,都不满意,就决定自 ...

最新文章

  1. 猜拳小程序c语言编程,无聊的时候写的猜拳小程序
  2. 柳青:2017,滴滴实现规模增长和修炼内功的一年
  3. 作业9-文件方式实现完整的英文词频统计实例
  4. Android 5.x系统nfs挂载系统启动记录 nfs挂载文件记录
  5. .NET 中String类功能分类概述
  6. Java static静态关键字 有啥用
  7. 实验吧——Recursive
  8. w ndows7旗舰版怎么重装系统,windows7旗舰版怎么重装系统|怎么重装系统windows7旗舰版...
  9. 基于ssm的记账管理系统设计与实现【毕业设计jsp】
  10. 国内数据资源共享平台介绍
  11. 前端 debugger
  12. 【One Page】概率论复习|Probability Theory Review
  13. 边缘计算卸载论文翻译于分析总结
  14. 华为路由交换设备命令集合,建议收藏!
  15. 张志华-统计机器学习
  16. mysql查询是第几条记录_MySQL查询第几行到第几行记录
  17. Stata:如何处理固定效应模型中的单期数据-xtfesing
  18. 《算法竞赛进阶指南》tarjan做法 银河
  19. 分享四种将PDF文件转换为CAD文件的方法,总有一个方法适合你
  20. 一键换肤 自定义css样式实现

热门文章

  1. MATLAB处理WOA18浮标数据
  2. 基于Html5的网页大头贴
  3. C#里Trim()什么意思
  4. windows下设置开机启动项并修改启动顺序
  5. 2021年中国粗钢市场供需情况分析:海外需求,拉动增长[图]
  6. 计算机文档不能直接打印,word文档不能打印的处理方法
  7. 巅峰之作推荐:遥仰凰华——仰望那份遥远的美丽 遥かに仰ぎ、麗しの(下载、汉化、简繁日攻略、存档)...
  8. 【实战】1382- 一文拥有属于你的 puppeteer 爬虫应用
  9. Arm Neoverse 路线图再添新品,基于四项关键原则打造
  10. 微型计算机10032,微机原理的答案.doc