zookeeper分布式应用程序协调服务
- ZooKeeper是一个分布式的应用程序协调服务
- ZooKeeper是Hadoop和Hbase的重要组件,Hbase和ZooKeeper之间具有强依赖的关系.
- ZooKeeper为分布式应用提供一致性服务,它的功能包括:配置维护/域名服务/分布式同步/组服务和分布式锁的服务等.
- ZooKeeper角色图
- 各服务器和Leader发生数据交换,Leader保证集群的数据同步
- Follower和Leader可以选举Leader
- Leader(领导者)负责投票和决定
- Flower(跟随者)负责将请求转发给leader,返回结果,参与投票
- ObServer(观察者)负责将请求转发leader,ObSserver不参与投票,只数据同步,定位是扩展系统弄和提高读取速度
- ZooKeeper的特点
数据一致
可靠:消息备一台服务器接受,就被其他所有服务器接受
独立性:服务器间互不干预
实时性,客户端得到的数据不一定是最新的,用sync接口可以获得最新数据
独立性
原子性,请求如果不成功就失败,没有中间转台
顺序性,服务器发布消息的顺序一致
- YARN资源管理任务调度流程
- - 客户端提交一个任务或者请求或者操作给yarn的ResourceManager资源管理,ResourceManager掌握整个集群的资源
- ResourceManager会根据它掌握的信息,随机找一台DateNode启动ApplicationMater进行任务调度.
- ApplicationMaster启动后,开始任务调度,向ResourceManager请求资源,用来启动进程(Executor),执行任务
- ResourceManager将任务的资源信息返回给ApplicationMaster
- ApplicationMaster获得资源信息 , 去执行任务.去指定的DateNode启动进程,然后对应的资源返回给客户端
zookeeper分布式应用程序协调服务相关推荐
- hadoop之 Zookeeper 分布式应用程序协调服务
(1) Zookeeper 在 Hadoop 集群中的作用 Zookeeper 是分布式管理协作框架,Zookeeper 集群用来保证 Hadoop 集群的高可用,(高可用的含义是:集群中就算有一部分 ...
- hadoop之 Zookeeper 分布式应用程序协调服务
(1) Zookeeper 在 Hadoop 集群中的作用 Zookeeper 是分布式管理协作框架,Zookeeper 集群用来保证 Hadoop 集群的高可用,(高可用的含义是:集群中就算有一部分 ...
- Zookeeper 教程：Zookeeper作为Hadoop和Hbase的重要组件，为分布式应用程序协调服务
目录 Zookeeper 教程 适用人群 学习前提 Zookeeper 概述 分布式应用 分布式应用的优点 分布式应用的挑战 什么是Apache ZooKeeper? ZooKeeper的好处 Zoo ...
- Zookeeper: 一个分布式应用程序协调服务
Zookeeper: A Service for Coordinating Processes of Distributed Applications A Scalable,reliable,robu ...
- ZooKeeper分布式应用程序的分布式协调服务：概述，入门，发布版本
ZooKeeper概述适用于客户端开发人员,管理员和贡献者的技术概述文档 概述 -ZooKeeper的鸟瞰图,包括设计概念和体系结构 入门 -教程风格的指南,供开发人员安装,运行和编程到ZooKeep ...
- 搭建第一个Dubbo分布式应用程序
一.了解分布式应用 什么是分布式应用?在谈谈这个之前我们先说一下与它对立的就是集中式应用,集中式应用就是在一个应用中包含了所有的应用资源,这样做有很大的坏处,项目会变得更繁重,维护麻烦,而且不便于二次 ...
- Zookeeper分布式应用协调软件的核心概念以及部署
文章目录 1.Zookeeper分布式协调软件核心概念 1.1.什么是Zookeeper 1.2.Zookeeper的核心功能 2.部署Zookeeper单节点模式 2.1.安装JAVA环境 2.2. ...
- 为什么Eureka比ZooKeeper更适合做服务发现？
Eureka的优势 1.在Eureka平台中,如果某台服务器宕机,Eureka不会有类似于ZooKeeper的选举leader的过程:客户端请求会自动切换到新的Eureka节点:当宕机的服务器重新恢复 ...
- ZooKeeper：分布式应用程序的分布式协调服务
ZooKeeper--动物园管理员 ZooKeeper:分布式应用程序的分布式协调服务 设计目标 数据模型和分层命名空间 节点和短暂节点 有条件的更新和手表 担保 简单的API 履行 用途 性能 可靠 ...
最新文章
- 73岁Hinton老爷子构思下一代神经网络：属于无监督对比学习
- matlab播放视频语句,matlab语句
- 时隔5年，再次接触数字图像处理
- 【Socket网络编程】12. send()、recv()、sendto() 和 recvfrom() 函数解析
- linux之文本比较工具
- 【JavaSE_08】Java中static、继承、重写
- php+mysql留言板小案例
- 安卓linux环境 查看进程,查看基于Android 系统单个进程内存、CPU使用情况的几种方法...
- SimpleDateFormat使用详解——日期、字符串应用
- 期权协议Charm在主网上线为UniswapV3设计的被动做市策略AlphaVaults
- LeetCode 78. Subsets
- matlab pwlech,MATLAB功率谱函数pwelch 和specture.welch
- [投稿]谱减法语音降噪原理
- vim 查找相同行 删除向同行
- Dennis M. Ritchie(丹尼斯里奇)
- linux ui 布局管理器,第1组UI组件：布局管理器
- Windows电脑上有哪些非常好用的本地视频播放器？快试试这5款
- 计算机显卡维修,pci-e显卡基本维修教程
- maven找不到,变小蜘蛛问题
- Ubuntu 如何直接回到桌面