主从结构的单点故障

1.在大数据的领域之中，体系结构都是主从结构（存在主节点和从节点）

在此当中单点指的是主节点发生故障,主节点的故障会导致整个集群无法访问。无论是何种集群主节点的故障导致的结果都相似。

集群	主节点	从节点
HDFS	NameNode	DateNode
Yarn	resourceManager	NodeManager
HBase	HMaster	RegionServer
Storn	Nimbus	Supervisor
Spark	Master	Worker

通过创造多个主节点来避免当个主节点发生故障导致的集群无法访问。

不同的集群都需要借助ZooKeeper来实现HA。
2.集群的配置
Zookeeper集群：
192.168.157.12 （bigdata12）
192.168.157.13 （bigdata13）
192.168.157.14 （bigdata14）
Hadoop集群：
192.168.157.12 （bigdata12） NameNode1 ResourceManager1 Journalnode
192.168.157.13 （bigdata13） NameNode2 ResourceManager2 Journalnode
192.168.157.14 （bigdata14） DataNode1
192.168.157.15 （bigdata15） DataNode2
日志输出信息：

我们可以观察到两个主节点并不是都是Active的状态而是一个active一个standby。而且在Active状态下的主节点出现故障是可以自动将Standby状态下的主节点转化为active的状态从而实现应对单节故障导致集群无法访问的结果。

通过使用ZooKeeper解决单点故障理论相关推荐

解决单点故障 - 有状态服务的高可用
导语本文介绍如何用Raft协议做有状态服务的高可用,以及提升性能. 高可用HA(High Availability)是分布式系统架构设计中必须考虑的因素之一,它通常是指,通过设计减少系统不能提供服务 ...
ZooKeeper和CAP理论及一致性原则
ZooKeeper和CAP理论及一致性原则一.CAP理论概述 CAP理论告诉我们,一个分布式系统不可能同时满足以下三种一致性(C:Consistency) 可用性(A:Available) 分区容 ...
zookeeper适用场景：zookeeper解决了哪些问题
zookeeper适用场景:zookeeper解决了哪些问题参考文章: (1)zookeeper适用场景:zookeeper解决了哪些问题 (2)https://www.cnblogs.com/li ...
Keepalived+nginx 集群解决单点故障
Keepalived+nginx 集群解决单点故障 nginx作为负载均衡器,所有请求都到了nginx服务器,可见nginx处于一个非常重要的位置,如果nginx服务器宕机,那么后台的服务器将无法提供 ...
MySQL主主+Keepalived高可用(一)：解决单点故障
在企业中,一般系统架构的瓶颈会出现在数据库这一部分,Mysql主从架构在很大程度上解决了这部分瓶颈,但是在Mysql主从同步的架构也存在很多问题.比如: 1. 关于数据写入部分(也就是主库)往往很难做 ...
计算理论是研究用计算机解决,可计算性理论
可计算性理论(Computability theory)作为计算理论的一个分支,研究在不同的计算模型下哪些算法问题能够被解决.相对应的,计算理论的另一块主要内容,计算复杂性理论考虑一个问题怎样才能被有 ...
Linux-Memcache分布式部署方案（magent代理解决单点故障）
Memcached的特点 Memcached作为高速运行的分布式缓存服务器具有以下特点. 1. 协议简单:memcached的服务器客户端通信并不使用复杂的MXL等格式, 而是使用简单的基于文本的协议 ...
网络互通、VLAN、单点故障理论讲解
网络互通什么是网络?所谓的网路,就是由所有想要上网的设备,连接在一起. 什么是互通?我给你发送数据包,你也可以给我回应数据包.[互通,是个双向] 概括的说:任何两个设备之间的通信,任何一个方向,永远 ...
分布式协调组件ZooKeeper的技术理论剖析-综合组件环境实战
本套技术专栏是作者(秦凯新)平时工作的总结和升华,通过从真实商业环境抽取案例进行总结和分享,并给出商业应用的调优建议和集群环境容量规划等内容,请持续关注本套博客.QQ邮箱地址:1120746959@q ...

通过使用ZooKeeper解决单点故障理论

主从结构的单点故障

通过使用ZooKeeper解决单点故障理论相关推荐

最新文章

热门文章