Hadoop为什么没有采用RAID？

Hadoop为什么没有采用RAID？_Just Do it!_百度空间

Hadoop为什么没有采用RAID？

HDFS集群没有采用RAID(冗余磁盘阵列)作为datanodes的存储设备(尽管namenode使用RAID来保护元数据不会丢失)。由于HDFS是采用在节点之间块复制的方法，所以RAID提供的冗余机制对HDFS来说是多余的。

此外，RAID条带(RAID 0)常用于增加性能，但却比HDFS中用到的JBOD(Just a Bunch Of Disks)要慢，而且JBOD在所有的磁盘之间对HDFS块进行时间片的轮转。具体说，RAID 0读写操作受限于冗余磁盘阵列中最慢的那个磁盘的速度。在JBOD中，磁盘的操作是独立的，所以读写操作的平均速度要大于最慢磁盘的速度。实际应用中，磁盘性能多是可以改变的，即使是同一型号的磁盘。在Yahoo Hadoop Cluster的Benchmark中，测试Gridmix显示JBOD要比RAID 0快10%，另一个测试显示快30%(这里的测试指的是HDFS的写能力。

最后，当一个JBOD配置中的一个磁盘失效，HDFS可以继续操作；但是在RAID中，一个磁盘的失效将会导致整个阵列(节点也一样)变得不再可用。

翻译自：OReilly Hadoop 《The Definitive Guide》June 2009

Hadoop为什么没有采用RAID？相关推荐

Hadoop大数据之RAID
------------摘自<百度百科--RAID词条> 磁盘阵列(Redundant Arrays of Independent Disks,RAID),有"独立磁盘构成的具有 ...
Hadoop 为什么不建议使用 RAID？
参考: Hadoop之为何不使用RAID? 场景:Hadoop做能否用RAID做优化? 答案:否,原因如下: 性能会有所降低,主要受限于最慢的disk(哪怕一个品牌的disk,性能也会不一样) 磁盘整 ...
大数据处理——Hadoop解析（一）
概述这个时代被称之为大数据时代,各行各业生产的数据量呈现爆发性增长,并且基于这些爆发性增长的数据做深层次的数据挖掘.分析.因此,我们可以很容易的感觉到,在这样一个大数据的时代,我们很多做事情的方法正 ...
[Hadoop性能调优]
一. Hadoop概述随着企业要处理的数据量越来越大,MapReduce思想越来越受到重视.Hadoop是MapReduce的一个开源实现,由于其良好的扩展性和容错性,已得到越来越广泛的应用. Ha ...
Hadoop性能调优全面总结
一. Hadoop概述随着企业要处理的数据量越来越大,MapReduce思想越来越受到重视.Hadoop是MapReduce的一个开源实现,由于其良好的扩展性和容错性,已得到越来越广泛的应用. Ha ...
10分钟认识RAID磁盘阵列技术!!!
首先声明这是转贴,因为我认为写的很不错,所以拿来和大家一起分享!!!! RAID磁盘阵列技术简述- - 在计算机发展的初期,"大容量"硬盘的价格还相当高,解决数据存储安全性问题的主 ...
如何选择正确的RAID级别
存储世界5月23日报道:目前,根据应用程序.磁盘驱动器种类.预算标准选择正确的RAID级别和10年前一样重要. 例如,如果你想实现高效能的读操作和写操作,你可能就要使用小型磁盘驱动器,避免使用RAID ...
软RAID创建手册-win2003
一.概述大家知道,硬件RAID解决方案速度快.稳定性好,可以有效地提供高水平的硬盘可用性和冗余度,但是居高不下的价格实在令人可畏.不过可庆幸的是,Windows 2003提供了内嵌的软件RA ...
【转】Hadoop集群添加磁盘步骤
转自:http://blog.csdn.net/huyuxiang999/article/details/17691405 一.实验环境 : 1.硬件:3台DELL服务器,CPU:2.27GHz*16 ...

Hadoop为什么没有采用RAID？

Hadoop为什么没有采用RAID？

Hadoop为什么没有采用RAID？相关推荐

最新文章

热门文章