背景:

Hadoop的HDFS文件系统的挂载, 默认指定的文件目录是/mnt/disk{N}. 当运维人员, 不小心把磁盘挂载于其他目录, 比如/mnt/data, /mnt/disk01, /mnt/diska时, HDFS会选择根分区, 当往HDFS里灌数据时, 导致的结果往往是根分区被快速的消耗尽, 而其他分区未见使用.

在CDH版本中, HDFS的配置如下所示:

dfs.datanode.data.dir => /mnt/disk{N}/dfs/dn

dfs.datanode.data.dir.perm => 755

由此可见: HDFS选择/mnt/disk{N}作为数据的存储目录是有来由的

这种情况如何处理? 该问题的本质解决方案是, 通过重新挂载相应的磁盘分区到/mnt/diskn即可, 通过编辑fstab, 重启来实现.

解决方案:

1. 采用mount的方式

*) 创建/mnt/disk{N}

mdkir -p /mnt/disk1

mdkir -p /mnt/disk2

*) 挂载/mnt/disk{N}

mount /dev/sdb2 /mnt/disk1

mount /dev/sdc1 /mnt/disk2

mount后的磁盘如下所示:

root@server-ip:~ # df -h

文件系统 容量 已用 可用 已用% 挂载点

/dev/sda1 459G 358G 100G 79% /

devtmpfs 32G 188K 32G 1% /dev

tmpfs 32G 104K 32G 1% /dev/shm

/dev/sdb2 457G 320G 136G 71% /mnt/disk1

/dev/sdc1 459G 289G 147G 67% /mnt/disk2

但采用mount的方式, 能解决一时的问题, 但重启之后, 之前mount的信息就丢失了.

2. 采用fstab的方式

*) 编辑/etc/fstab

#

/dev/sdb2 /mnt/disk1 ext3 defaults 0 0

/dev/sdc1 /mnt/disk2 ext3 defaults 0 0

*) 进行挂载测试

mount -a

echo $?

mount -a没有任何输出, 并且echo $?返回结果为0, 则表示/etc/fstab配置没问题

*) 系统重启

reboot

相关内容:

1. 如何查看磁盘分区等信息

fdisk -l

ls /dev/sd*

2. /etc/fstab里的配置项的含义

: 设备名或者设备卷标名

: 设备挂载目录

:设备文件系统, vfat, ext3, ext4, swap等

: 挂载参数, 可选用defaults

: 指明是否要备份。(0为不备份，1为要备份，一般根分区要备份)

: 指明自检顺序。 (0为不自检，1或者2为要自检，如果是根分区要设为1，其他分区只能是2)

/dev/sdb2 /mnt/disk1 ext3 defaults 0 0

/dev/sdc1 /mnt/disk2 ext3 defaults 0 0

参考链接:

http://blog.sina.com.cn/s/blog_6ce9e88701014jgl.html

http://www.shangxueba.com/jingyan/121709.html

shell 脚本实战笔记(9)--linux自动批量添加用户

前言: 添加linux用户帐号,这个相对简单, 在面对集群, 许多机器的时候, 我们该如何去做和实现? 这篇短文, 简单讲解一些思路, 尽可能地涉及周边的一些知识点. 不光是运维人员会面临这个问题, ...

Linux磁盘分区和挂载

Linux磁盘分区和挂载 分区 分区的方式: mbr分区 最多支持4个主分区 系统只能安装到主分区上 扩展分区要占用一个主分区 MBR最大支持2TB,但拥有最好的兼容性 gtp分区 支持无线多个主分区 ...

Linux 实用指令(7)--Linux 磁盘分区、挂载

目录 Linux 磁盘分区.挂载 1 分区基础知识 1.1 分区的方式: 1.2 windows 下的磁盘分区 2 Linux分区 2.1 原理分析 2.2 磁盘说明 2.3 使用lsblk指令查看当 ...

Linux磁盘分区、挂载、查看文件大小

快速查看系统文件大小命令 du -ah --max-depth=1 后面可以添加文件目录 ,如果不添加默认当前目录. 下面进入正题~~ 磁盘分区.挂载 引言: ①.分区的方式 a)mbr分区: 最多支 ...

shell 脚本实战笔记(6)--集群环境配置检测

1). 背景: 集群部署的时候, 需要一致的配置和环境设置. 对于虚拟机集群, 可以借助镜像拷贝, 复制和还原集群机器. 对与物理机集群而言, 则不一样, 如果机器一多, 多人去操作和配置, 对于成熟 ...

linux磁盘分区、挂载、查看

实战: 34    查看本机所有磁盘                 fdisk -l 35    查看磁盘挂载情况                lsblk -f 36            39: ...

shell 脚本实战笔记(10)--spark集群脚本片段念念碎

前言: 通过对spark集群脚本的研读, 对一些重要的shell脚本技巧, 做下笔记. *). 取当前脚本的目录 sbin=`dirname "$0"` sbin=`cd &quo ...

Linux磁盘分区，挂载

分区基础知识 分区的方式:   1) mbr分区:     1.最多支持四个主分区     2.系统只能安装在主分区     3.扩展分区要占一个主分区     4.MBR最大只支持2TB,但拥有最好 ...

linux 磁盘分区和挂载看这一篇就够了

Linux fdisk 和 mount 命令操作指南,linux磁盘管理.新增磁盘.挂载新硬盘(linux运维入门) 首先列出文件系统的整体磁盘空间使用情况.可以用来查看磁盘已被使用多少空间和还剩余多 ...

随机推荐

zoj 3822 Domination (概率dp 天数期望)

题目链接 参考博客:http://blog.csdn.net/napoleon_acm/article/details/40020297 题意:给定n*m的空棋盘 每一次在上面选择一个空的位置放置一枚 ...

QQ邮箱附件发送

一.先造一个邮件发送的窗体 二.编辑邮件发送的代码(包括附件) ①附件添加对话框 string file; private void button6_Click(object sender, Even ...

android学习——必学基础组件

android基础组件是一个Android的开发人员必须要了解,且深刻理解的东西: 1.应用程序基础 2.应用程序组件 2.1.活动(Activities) 2.2.服务(Services) 2.3. ...

foreach学习笔记

对集合进行遍历 只能获取集合元素,但是不能对集合进行操作. 迭代器除了遍历,还可以进行remove的动作. 如果是用ListIterator,还可以在遍历过程中进行增删改查的动作. for(Strin ...

SDWebImage源码解读之SDWebImageManager

第九篇 前言 SDWebImageManager是SDWebImage中最核心的类了,但是源代码确是非常简单的.之所以能做到这一点,都归功于功能的良好分类. 有了SDWebImageManager这个 ...

Apache Flink 流处理实例

维基百科在 IRC 频道上记录 Wiki 被修改的日志,我们可以通过监听这个 IRC 频道,来实时监控给定时间窗口内的修改事件.Apache Flink 作为流计算引擎,非常适合处理流数据,并且,类似 ...

RHEL下SendMail修改发邮箱地址

RHEL(Oracle Linxu/CentOS)系统下,如果使用sendmail发送邮件,如果不特殊设置,一般发件箱地址为user@hostname,例如,hostname为DB-Server.lo ...

Hadoop生态圈-开启Ambari的Kerberos安全选项

Hadoop生态圈-开启Ambari的Kerberos安全选项 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 在完成IPA-Server服务的安装之后,我们已经了解了他提供的基础功 ...

jdbc 日期处理问题

1.从结果集中取得日期部分 resultSet.getDate();  --2013-01-07 2.从结果集中取得时间部分 resultSet.getTime()   --22:08:09 3.从结 ...

自学Linux Shell19.2-gawk程序高级特性

点击返回 自学Linux命令行与Shell脚本之路 19.2-gawk程序高级特性 linux世界中最广泛使用的两个命令行编辑器: sed gawk 1. gawk使用变量 编程语言共有的特性是使用变 ...