linux双机热备方案,Hadoop HDFS系统双机热备方案 PDF

1. 前言

HDFS包含两种角色：数据节点(datanode)和名字节点(namenode)，名字节点只有一个，数据节点最多支持2000个。HDFS可以确保在硬件失效情况下数据存储的可靠性。常见的三种失败：名字节点失效, 数据节点失效和网络分割(network partitions)。

HDFS将每个文件存储成block序列，除了最后一个block，所有的block都是同样的大小。文件的所有block为了容错都会被复制。每个文件的block大小和replication因子都是可配置的。Replication因子可以在文件创建的时候配置，以后也可以改变。

每个Datanode节点都向Namenode周期性地发送心跳包。网络切割可能导致一部分Datanode跟Namenode失去联系。 Namenode通过心跳包的缺失检测到这一情况，并将这些Datanode标记为dead，不会将新的IO请求发给它们。Datanode的死亡可能引起一些block的副本数目低于指定值，Namenode不断地跟踪需要复制的 block，在任何需要的情况下启动复制。

因此在HDFS中通过复制可以确保数据节点的高可用性，名字节点的高可用性一般通过HA方式实现：

方案1 drbd+heartbeat

采用drbd实现共享存储，采用heartbeat实现心跳监控，所有服务器都配有双网卡，其中一个网卡专门用于建立心跳网络连接。

方案2磁盘阵列或SAN+ heartbeat

名字节点负责整个文件系统目录结构、文档权限和文档的扩展属性连同维护整个文档系统的数据一致性和响应客户端的请求。HDFS能够配置两个名字节点服务器，采用active/passive模式，两个服务器采用共享存储的方式来存放元数据。当某个名字节点出现故障后，备份服务器能够接管其服务，确保系统的正常运行。

以下我们通过DRBD和heartbeat实现了名字节点的高可用。

2. 基本配置

2.1. 硬件环境

测试环境为2节点，2台机器操作系统均为Red Hat Enterprise Linux AS4 UP2，2.6.9-22.EL。两台主机的eth1使用双机对联线直接连接。每台主机预留30G的raw空间作为共用空间被HA使用。

DRBD实现了网络RAID-1功能，即两台服务器一台是主节点，提供存储服务，一台是从节点。在主节点上的任何操作,都会被同步到从节点的相应磁盘分区上，达到数据备份的效果。当主节点发生故障时，通过heartbeat从节点可以接管主节点的虚拟IP。

Hadoop HDFS系统双机热备方案 PDF版下载：

具体下载目录在 /2012年资料/1月/1日/Hadoop HDFS系统双机热备方案/

linux双机热备方案,Hadoop HDFS系统双机热备方案 PDF相关推荐

BigData：大数据开发的简介、核心知识(linux基础+Java/Python编程语言+Hadoop{HDFS、HBase、Hive}+Docker)、经典场景应用之详细攻略
BigData:大数据开发的简介.核心知识(linux基础+Java/Python编程语言+Hadoop{HDFS.HBase.Hive}+Docker).经典场景应用之详细攻略 BigData:大数 ...
服务器迁移虚拟化实施方案,VMVARE业务系统迁移上云方案
背景客户要将业务从自建的虚拟化数据中心迁移至UCloud,希望能够将多年前的VMware体系换到公有云体系.其中:客户希望上云过程不影响到现有业务: 去除机房托管的过保设备,减少不必要的支出: 减少 ...
Linux系统双机热备的方案
目前,双机和集群采用的操作系统主要有UNIX.Linux.BSD及微软公司的Windows NT/2000.随着Linux的迅速发展,稳定性.安全性及功能的不断增强,人们对Linux的使用越来越广泛, ...
长春人行OA系统双机热备及Veritas备份及相关软硬件实施文档
长春人行 OA 系统双机热备及 Veritas 备份及相关软硬件实施文档一.硬件情况: 1． IBM X255 服务器两台,配置相同. 2．外置磁盘柜一台,(EXP 300). 3． Se ...
Linux下Hadoop hdfs Java API使用
0 前言搞了大约2天时间终于把Linux下面Java API的使用给弄清楚了.做个笔记方便以后参考.环境如下所示 Hadoop:2.5.1 Linux:Ubuntu kylin eclipse:lu ...
hdfs文件系统和linux文件系统,分布式文件系统HADOOP HDFS与传统文件系统LINUX FS的比较与分析...
分布式文件系统HADOOP HDFS与传统文件系统LINUX FS的比较与分析第3 0卷第 4期 2 1 8月 0 0年苏州大学学报(工科版) Vo_ O No 4 13 . Au ...
什么双机热备？为什么要做双机热备？双机热备有哪几种？
双机热备知识简介 1. 双机热备名词解释从广义上讲,就是对于重要的服务,使用两台服务器,互相备份,共同执行同一服务.当一台服务器出现故障时,可以由另一台服务器承担服务任务,从而在不需要人工干预的情况 ...
安装、进程-云计算学习笔记---hadoop的简介,以及安装,用命令实现对hdfs系统进行文件的上传下载-by小雨...
本文是一篇关于安装.进程-的帖子 1.Hadoop简介 1.hadoop的生诞 l Nutch和Lucene之父Doug Cutting在2006年成完Hadoop目项. l Hadoop并非一个 ...
双机互备是什么意思？双机互备就是双机热备吗？
看到不少小伙伴在问,双机互备是什么意思?双机互备就是双机热备吗?今天我们就来一起简单了解了解吧! 双机互备是什么意思?双机互备就是双机热备吗? 双机互备是指在双机热备的基础上,两个相对独立的应用在两台 ...

linux双机热备方案,Hadoop HDFS系统双机热备方案 PDF

linux双机热备方案,Hadoop HDFS系统双机热备方案 PDF相关推荐

最新文章

热门文章