转自:http://blog.csdn.net/huyuxiang999/article/details/17691405

一、实验环境 :

1、硬件:3台DELL服务器,CPU:2.27GHz*16,内存:16GB,一台为master,另外2台为slave。

2、系统:均为CentOS6.3

3、Hadoop版本:CDH4.5,选用的mapreduce版本不是yarn,而是mapreduce1,整个集群在cloudera manager的监控下,配置时也是通过manager来配置(通过更改配置文件是一样的道理)。

二、背景:

随着数据量的增长,实验室的hdfs存储不够,故新买了2*2TB的硬盘,加装在2台datanode服务器上。hadoop不需要做raid(hdfs有其他机器保证数据冗余),因此将硬盘直接插在服务器上,在BIOS中找到新的硬盘即可。

三、硬盘分区、格式化:

每个硬盘分5个区,其中三个为主分区,另外两个为逻辑分区。

1、查看硬盘挂载情况

输入命令fdisk -l可以查看系统中有几块硬盘。一般第一块硬盘为/dev/sda,第二块为/dev/sdb,以此类推。如果没有找到加装的那块硬盘,说明系统没有识别,需重启服务器,进入BIOS设置。

2、硬盘分区

输入命令fdisk /dev/sdb(因为这里是第二块硬盘,所以输入的是/dev/sdb,这个需要根据情况)

这里可以输入m看一下具体有哪些参数。

输入p,可以显示本硬盘分区情况,由于是新硬盘,因此没有分区信息。

下面创建第一个主分区。

输入n创建分区,然后在接下来的提示中输入p,代表创建主分区,再输入1,表示创建第一个主分区(一共可以创建4个主分区),接下来输入起始柱面,一般就选默认,然后输入结束柱面,此处也可输入大小,如+400G,表示这个分区的大小为400G,这样,第一个主分区就创建好了。

然后按上述步骤创建第2,第3个主分区,均为400G。

接下来创建2个逻辑分区。

输入n,然后在接下来的提示中输入e,表示创建扩展分区,输入起始柱面,一般为默认,然后输入结束柱面,同样为默认,表示此扩展分区使用剩下的所有空间。这样,一个扩展分区就做好了,然后我们要在这个扩展分区上创建两个逻辑分区,创建的方法和创建主分区很相似,同样先输入n,然后接下来的步骤相信读者一定会做了。

最后所有分区创建完之后,记得输入w保存分区,否则等于没有做。

3、格式化分区

输入命令mkfs -t ext4 /dev/sdb1,表示把分区/dev/sdb1格式化成ext4文件系统,同样的方法格式化其他分区。

4、mount分区到目录

可以选择把某一分区mount到已有目录,也可以mount到新建目录。注意如果mount到已有目录,要先把该目录下的文件备份。本文是新建目录的:mkdir -p /hd/sdb1,然后mount /dev/sdb1 /hd/sdb1,同样mount其他分区。

5、修改/etc/fstab

如果不修改,则每次开机时都要手动做第4步,比较麻烦。打开fstab文件,按照已有的条目添加5个新建分区,每一个条目的最后两个数据均为0 0

四、hdfs扩容

我把上述5个分区的容量全部加到hdfs中。首先在每一个分区的挂载目录中新建子目录/dfs/dn,如mkdir -p /hd/sdb1/dfs/dn,然后修改dn目录的权限:

chown -R hdfs:hadoop /hd/sdb1/dfs/dn

这样hdfs才能使用该目录(每一个分区都要新建/dfs/dn)。

打开cloudera manager,找到“服务”-》“hdfs”

选择“配置”-》“查看和编辑”,然后在左边找到datanode(默认),右边的第一个属性中,原来只有一个条目(我的是/dfs/dn),为了使hdfs使用新的硬盘,因此要添加我们创建的分区,后面的5条都是我加的目录。

然后点开datanode(默认)

找到“高级”,在右边的datanode卷选择策略中,选择“可用空间”,这样,后面的两个属性(“10G字节”和“0.75”)就会发挥作用,用于平衡各个卷中空间使用。

保存以上配置,然后重启hdfs,即可将hdfs扩容。

【转】Hadoop集群添加磁盘步骤相关推荐

  1. 向Hadoop集群添加一个新的节点

    如何向向Hadoop集群添加一个新的节点? 1.在新节点安装好hadoop或者从其他节点复制一份 2.把namenode的有关配置文件复制到该节点 3.修改masters和slaves文件,增加该节点 ...

  2. Hadoop集群datanode磁盘不均衡的解决方案

    Hadoop集群datanode磁盘不均衡的解决方案 参考文章: (1)Hadoop集群datanode磁盘不均衡的解决方案 (2)https://www.cnblogs.com/Richardzhu ...

  3. Hadoop集群搭建详细步骤大全

    0- Hadoop运行环境搭建 1.1,安装虚拟机 1)安装虚拟机 IP地址192.168.10.100.主机名称hadoop100,4G.硬盘50G (安装vm和光盘,注意放在内存大的硬盘上) (1 ...

  4. Hadoop集群添加新节点正确操作步骤

    新加入的节点必须启动相关进程 编辑白名单 执行refresh命令

  5. VMware Workstation 9下基于Ubuntu 12.10服务器版本的Hadoop集群的配置

    (主要参照http://os.51cto.com/art/201211/363116.htm) 一.概述 其实,网上关于Hadoop集群的配置的资料不可谓不少,但是,细细找来,多半是在有图形桌面的环境 ...

  6. hadoop集群的搭建(分布式安装)

    集群 计算机集群是一种计算机系统,他通过一组松散集成的计算机软件和硬件连接起来高度紧密地协同完成计算工作. 集群系统中的单个计算机通常称为节点,通常通过局域网连接. 集群技术的特点: 1.通过多台计算 ...

  7. 简要描述安装配置apache的一个开源Hadoop集群

    安装Hadoop集群的简要步骤 (1)集群准备工作 a. 准备三台客户机(配置IP,编写主机名,配置网络,关闭防火墙......) (2)安装JDK,安装hadoop (3)配置JAVA_HOME 和 ...

  8. Hadoop集群中添加硬盘

    Hadoop工作节点扩展硬盘空间 接到老板任务,Hadoop集群中硬盘空间不够用,要求加一台机器到Hadoop集群,并且每台机器在原有基础上加一块2T硬盘,老板给力啊,哈哈. 这些我把完成这项任务的步 ...

  9. 搭建Hadoop集群步骤

    --基于三台机器 一.前提 1.  首先要有三台已联网机器,假设为A,B1,B2.其中A:192.168.81.91:B1:192.168.81.92:B2:192.168.81.93.机器装有Ubu ...

最新文章

  1. android 白天和夜间模式切换时闪屏问题处理方法
  2. 解决Ubuntu系统下git clone下载速度较慢的问题(亲测有效)
  3. MySQL数据库分组查询group by(having)
  4. [转载]Java-集合框架完全解析
  5. mongodb java连接 集群_java连接mongodb集群
  6. CRM Web Client UI异步搜索介绍
  7. 关于数据库#1063 - Incorrect column specifier for column 'xxx'异常
  8. OpenGL基础41:几何着色器
  9. 辅助驾驶等级_BBA霸榜、特斯拉折戟 E-NCAP辅助驾驶评测结果公布
  10. java反射集合类_java反射 - lara - OSCHINA - 中文开源技术交流社区
  11. HOOK NtCreateSection
  12. linux 替换文件夹内容,Linux批量替换文本,文件夹内所有文本内容
  13. powerdesigner 导出mysql 库,自动生成ER图
  14. 2010年中考英语写作高分指导
  15. 腾讯云2022年双11云服务器配置及报价表汇总
  16. 【每日一题】一起冲击蓝桥杯吧——Day4【蓝桥真题一起练】
  17. 2022美团实习生客户端一面
  18. RecyclerView添加分割线
  19. 介绍一种冷门但简单的双拼方案——紫光双拼
  20. D-feet的安装与使用

热门文章

  1. 什么是断点,为什么要设置断点?断点的作用是什么?
  2. 如何修改git已提交记录的邮箱?
  3. 将php-fpm添加至service服务
  4. Codeforces Round #546 (Div. 2) B. Nastya Is Playing Computer Games
  5. dubbo自定义异常传递信息丢失问题解决
  6. Winform让扫描枪听话,防止在有焦点的地方就扫码输入的尴尬
  7. (数字IC)低功耗设计入门(八)——物理级低功耗设计to be continued?
  8. windows 下使用 Filezilla server 搭建 ftp 服务器
  9. xmpp muc 群聊协议 1
  10. Python 统计文本中单词的个数