Elastic-Job中Zookeeper的作用

  • Elastic-Job中Zookeeper的作用

Elastic-Job中Zookeeper的作用

Zookeeper在Elastic-Job中的作用就是任务信息的存储选举机制

Elastic-Job依赖Zookeeper完成对执行任务信息的存储(如任务名称、任务参与实例、任务执行策略等)
Elastic-Job依赖Zookeeper实现选举机制,在任务执行实例数量变化时(如启动新的实例或停止实例),会触发选举机制,选举出Leader实例,让这个Leader去执行该任务

Zookeeper是一个分布式一致性协调服务,它是Apache Hadoop下的一个子项目,主要用来解决分布式应用中经常遇到的一些数据管理问题,如:统一命名服务、状态同步服务、集群管理、分布式应用配置项的管理等。

可以把Zookeeper想象成一个特殊数据库,维护着一个类似文件系统的树形数据结构,Zookeeper的客户端(如Elastic-Job任务执行实例)可以对数据进行读取

每个子目录项如/app1都被称作为zndoe(目录节点),和文件系统一样,我们能够自由增加,删除znode,在znode下增加、删除子znode,唯一的不同在于znode可以存储数据

Zookeeper为什么称为一致性协调服务?因为Zookeeper拥有数据监听通知机制,客户端注册监听它关心的znode,当znode发生变化(数据改变、被删除、子节点增加删除)时,Zookeeper会通知所有客户端。

Zookeeper管理分布式配置项的机制:
假设我们程序分布式的部署在多台机器上,如果想要改变程序的配置文件,需要逐台机器去修改,非常麻烦,现在把配置放到Zookeeper上面,保存在Zookeeper的某个目录节点中,然后所有的相关应用程序作为Zookeeper的客户端对这个目录节点去监听,一旦配置信息发生变化,每个应用程序就会收到Zookeeper的通知,从而获取新的配置信息应用到系统中。

Elastic-Job中Zookeeper的作用相关推荐

  1. Kafka中zookeeper的作用详解(7点)

    Kafka集群中有一个broker会被选举为Controller,负责管理集群broker的上下线,所有topic的分区副本分配和leader选举等工作.Controller的管理工作都是依赖于Zoo ...

  2. 什么是Zookeeper,Zookeeper的作用是什么,在Hadoop及hbase中具体作用是什么

    原文链接 什么是Zookeeper,Zookeeper的作用是什么,它与NameNode及HMaster如何协作?在没有接触Zookeeper的同学,或许会有这些疑问.这里给大家总结一下. 一.什么是 ...

  3. 监控系统中的服务器,监控系统中服务器的作用

    监控系统中服务器的作用 内容精选 换一换 电商业务内存要求高.数据量大并且数据访问量大.要求快速的数据交换和处理,监控要求极其高.ECS为核心服务,全面.立体的ECS监控系统对业务稳定起到了至关重要的 ...

  4. ZooKeeper的作用、应用场景和替代品

    ZooKeeper 我想大家应该都略有耳闻,可能你在开发中没有直接使用过,但常用的 Hadoop.HBase.Kafka.Dubbo 等都有使用到 ZooKeeper.那 ZooKeeper 到底起到 ...

  5. VMware虚拟机文件夹中各文件作用详解

    VMware虚拟机文件夹中各文件作用详解 虚拟机的文件管理由VMware Workstation来执行. 一个虚拟机一般以一系列文件的形式储存在宿主机中, 这些文件一般在由workstation为虚拟 ...

  6. Science:亚硝酸盐氧化细菌在黑暗海洋中的主要作用

    文章目录 亚硝酸盐氧化细菌在黑暗海洋中的主要作用 写在前面 摘要 热心肠日报 背景 结果 图1 非全长16S rRNA基因序列的系统发育树 图2 通过募集宏基因组片段的方法确定亚硝酸盐氧化细菌单扩增基 ...

  7. 丰度决定了细菌在复杂群落中的功能作用

    本文转载自"微生态笔记",已获授权 标题:Abundance determines the functional role of bacterial phylotypes in c ...

  8. elastic stack中的Beats是什么?

    elastic stack中的Beats是什么? elastic stack栈涉及到以下⼏个组件 beats:⽤于轻量级⽇志采集,⽀持⽂件采集,系统数据采集,特定中间件数据采集等 logstash:⽤ ...

  9. tensorflow2.0中valid_data的作用是在训练的过程对对比训练数据与测试数据的准确率 损失率,便于判断模型的训练效果:是过拟合还是欠拟合(过拟合)

    tensorflow2.0中valid_data的作用是在训练的过程对对比训练数据与测试数据的准确率,便于判断模型的训练效果:是过拟合还是欠拟合 过拟合:训练数据的准确率较高而测试数据的准确率较低 欠 ...

最新文章

  1. 【c语言训练】大,小写问题,【C语言训练】大、小写问题 (C语言代码)
  2. 今天开始学模式识别与机器学习Pattern Recognition and Machine Learning (PRML),章节1.2,Probability Theory (下)
  3. excel导入csv文件_如何将包含以0开头的列的CSV文件导入Excel
  4. 通过超分辨率重构来提高二维码的对比度
  5. weblogic部署步骤
  6. c语言如何限制数字大小下线,C语言学习Day19
  7. 第9章 逻辑回归 学习笔记 上
  8. windows远程连接linux中mysql数据库
  9. E71使用蓝牙连接PC套件的一些经验
  10. E680最强综合技巧集合
  11. ZeroMQ XPub/XSub模式
  12. 离线安装openOffice
  13. [转]XXX无法访问。你可能没有权限使用网络资源
  14. FFmpeg的Android平台移植—编译篇
  15. ios 唤醒小键盘 如何使得小键盘上出现 “前往”、“搜索”、“”等按钮
  16. Kubernetes | 《Kubernetes in Action中文版》第8章错误
  17. 微型机器人革命:微若尘埃 智比爬虫
  18. 关于百度地图设置显示的比例尺大小
  19. 东南大学2012年招收推荐免试生直接攻读博士学位研究生简章
  20. 【Linux】面试题(2021最新版)

热门文章

  1. 数学建模之:TOPSIS综合评价模型python代码
  2. autojs 浏览器源码
  3. python学习笔记第十七天------------MySQL数据库
  4. 指数移动平均(EMA)的原理及PyTorch实现
  5. 天猫某个商品秒杀js精简
  6. 云架构的一些核心概念
  7. 工作一年了,回顾过去一年的点滴(一)
  8. msysGit和TortoiseGit
  9. ThinkPHP框架漏洞总结
  10. RK3399 点亮mipi屏和EDP屏