问题1：如何保证集群配置信息一致？

程序的运行往往依赖很多配置文件，比如数据库地址、黑名单控制、服务地址列表等，而且有些配置信息需要频繁地进行动态变更，这时候怎么保证所有机器共享的配置信息保持一致？

问题2：如何即使发现故障节点？

如果有一台机器挂掉了，其他机器如何感知到这一变化并接管任务？如果用户激增，需要增加机器来缓解压力，如何做到不重启集群而完成机器的添加？

问题3：负载均衡怎么实现？

用户数量增加或者减少，会出现有的机器资源使用率繁忙，有的却空闲（忙则忙的要死，闲则闲的要死），所以如何让每台机器感知到其他机器的负载状态从而实现负载均衡？

问题4：怎么协同工作？？

在一台机器上要多个进程或者多个线程操作同一资源比较简单，因为可以有大量的状态信息或者日志信息提供保证，比如两个A和B进程同时写一个文件，加锁就可以实现。但是分布式系统怎么办？需要一个三方的分配锁的机制，几百台worker都对同一个网络中的文件写操作，怎么协同？还有怎么保证高效的运行？

上述问题的答案：Zookeeper。

对于分布式集群，应该思考什么问题？相关推荐

不仅性能秒杀Hadoop，现在连分布式集群功能也开源了
就在昨天(2020年8月3日),涛思数据团队正式宣布,物联网大数据平台TDengine集群版开源.此次开源,我们在GitHub上传了23.9万行源代码,1198个源文件,包含我自己疫情期间写的一万余行 ...
分布式集群系统组件架构_分布式跟踪系统的四个组件如何一起工作
分布式集群系统组件架构十年前,基本上只有认真思考分布式跟踪的人是学者和少数大型互联网公司. 如今,对于任何采用微服务的组织来说,它已经变成了赌注. 基本原理是公认的:微服务以令人惊讶且通常是惊人 ...
【大数据】Hadoop—— 三大核心组件理论入门 | 完全分布式集群搭建 | 入门项目实战
文章目录前言大数据概述时代背景 4V特点大数据思维核心技术储存计算相关技术云计算物联网 Hadoop简介简介版本之分项目生态结构安装和部署 HDFS 简介集群结构实现目 ...
大数据调度平台Airflow（八）：Airflow分布式集群搭建及测试
目录 Airflow分布式集群搭建及测试一.节点规划二.airflow集群搭建步骤 1.在所有节点安装python3.7 2.在所有节点上安装airflow 三.初始化Airflow 1.每台节点 ...
搭建hbase1.2.5完全分布式集群
简介有一段时间,没写博客了,因为公司开发分布式调用链追踪系统,用到hbase,在这里记录一下搭建过程 1.集群如下: ip 主机名角色 192.168.6.130 node1.jacky.com ...
Hadoop安装教程_分布式集群
安装前的准备伪分布式的设置集群的规划集群的初始设置网络配置 SSH无密码登陆 java及apache环境设置安装流程主机的安装集群的安装效果与验证安装注意模式切换参考资料安装前 ...
大数据分布式集群搭建（1）
在学习了几天的hadoop分布式集群搭建之后想写写文章记录一下一路以来遇到的困难和解决方案. 闲话不多说,进入正题. 一.环境及准备因为只有一台电脑,所以需要用虚拟机来模拟环境. 本地机器用到软件: ...
百度开源联邦学习框架 PaddleFL：简化大规模分布式集群部署
百度开源联邦学习框架 PaddleFL:简化大规模分布式集群部署作者 | 钰莹近两年,联邦学习技术发展迅速.作为分布式的机器学习范式,联邦学习能够有效解决数据孤岛问题,让参与方在不共享数据的基础上联 ...
# 从零開始搭建Hadoop2.7.1的分布式集群
Hadoop 2.7.1 (2015-7-6更新),Hadoop的环境配置不是特别的复杂,可是确实有非常多细节须要注意.不然会造成很多配置错误的情况.尽量保证一次配置正确防止重复改动. 网上教程有非常 ...
hadoop分布式集群搭建
hadoop集群搭建前的准备(一定要读):https://blog.51cto.com/14048416/2341450 hadoop分布式集群搭建: 1. 集群规划: 2.具体步骤: (1)上传安装 ...

对于分布式集群，应该思考什么问题？

上述问题的答案：Zookeeper。

对于分布式集群，应该思考什么问题？相关推荐

最新文章

热门文章