为什么不用mysql做数据仓库hdfs_为什么不建议将RAID用于Hadoop HDFS设置？

RAID用于两个目的.根据RAID配置,您可以获得：

>更好的性能：读取文件可以分布在多个磁盘上,也可以透明地使用不同的磁盘从同一文件系统中读取多个文件.

>容错：使用多个磁盘上的奇偶校验位复制或存储数据.如果磁盘发生故障,可以从其他副本恢复,或使用奇偶校验位重新计算.

HDFS具有类似的软件内置机制. HDFS将文件拆分为块(所谓的文件块),这些块在多个数据节点之间复制并存储在其本地文件系统中.通常,datanode有多个单独安装的磁盘(JBOD). datanode应在其所有磁盘/本地文件系统上分发其文件块.

这可以确保：

>容错：如果磁盘或节点发生故障,则可以在不同的数据节点和磁盘上使用其他副本.

>高顺序读/写性能：通过将文件拆分成多个块并将它们存储在不同的节点(和不同的磁盘)上,可以通过同时访问多个磁盘(在不同的节点上)并行读取文件.每个磁盘都可以使用其全带宽读取数据,并且其读取操作不会干扰其他磁盘.如果群集得到充分利用,所有磁盘将全速旋转,从而提供最大的顺序读取性能.

由于HDFS负责容错和“条带”读取,因此无需在HDFS下使用RAID.使用RAID只会更昂贵,提供更少的存储空间,而且速度也更慢(取决于具体的RAID配置).

由于namenode是HDFS中的单点故障,因此需要更可靠的硬件设置.因此,建议在名称节点上使用RAID.

为什么不用mysql做数据仓库hdfs_为什么不建议将RAID用于Hadoop HDFS设置？相关推荐

JSP+Mysql 做一个简单的学生成绩查询web系统
IDEA基于JSP+Mysql 做一个简单的学生成绩查询web系统目录一.相关软件的下载和配置环境 Java环境的下载和配置 (1)IDEA的下载和安装 (2)JdK的安装 Tomcat的下载 ...
java 加法不用_【Java】剑指offer(65) 不用加减乘除做加法
本文参考自<剑指offer>一书,代码采用Java语言. 题目写一个函数,求两个整数之和,要求在函数体内不得使用+.-.×.÷四则运算符号. 思路对数字做运算,除了四则运算外,只剩下位 ...
剑指 offer set 26 不用加减乘除做加法
总结 1. Leetcode 上有一道题, 是不用乘除做乘法, 那道题算是背包问题的变形 2. 不用加减乘除, 还可以用移位操作 3. 将数字转成二进制格式, 然后运用二进制亦或, 移位运算解决 3. ...
使用vue-cli+element-ui+expsess+mysql做一个简易的登录功能
使用vue-cli+element-ui+expsess+mysql做一个简易的登录功能 1使用webpack下载vue模板 vue init webpack aaa(aaa为项目名称) cd到aaa ...
剑指Offer_编程题不用加减乘除做加法
不用加减乘除做加法时间限制:1秒空间限制:32768K 热度指数:81997 算法知识视频讲解题目描述写一个函数,求两个整数之和,要求在函数体内不得使用+.-.*./四则运算符号. 首先,十进 ...
《剑指offer》-- 构建乘积数组、求1+2+3+...+n、不用加减乘除做加法、包含min函数的栈、用两个栈实现队列
一.构建乘积数组: 1.题目: 给定一个数组A[0,1,...,n-1],请构建一个数组B[0,1,...,n-1],其中B中的元素B[i]=A[0]*A[1]*...*A[i-1]*A[i+1]*. ...
[剑指offer]面试题47：不用加减乘除做加法
面试题47:不用加减乘除做加法题目:写一个函数,求两个整数之和,要求在函数体内不得使用+.-.×.÷四则运算符号. 代码如下: int add(int num1, int num2) {int su ...
如何用java实现加减_用Java实现不用加减乘除做加法操作
面试题1:不用加减乘除,求两个整数的和. import java.util.Scanner; public class GetSum { /** * 不用加减乘除做加法: * 十进制中的18和7相加: ...
使用 Xtrabackup 在线对MySQL做主从复制【转】
1. 说明 1.1 xtrabackup mysqldump对于导出10G以下的数据库或几个表,还是适用的,而且更快捷.一旦数据量达到100-500G,无论是对原库的压力还是导出的性能,mysqldu ...

为什么不用mysql做数据仓库hdfs_为什么不建议将RAID用于Hadoop HDFS设置？

为什么不用mysql做数据仓库hdfs_为什么不建议将RAID用于Hadoop HDFS设置？相关推荐

最新文章

热门文章