mooseFS是一款网络分布式文件系统。它把数据分散在多台服务器上，但对于用户来讲，看到的只是一个源。MFS也像其他类unix文件系统一样，包含了层级结构（目录树），存储着文件属性（权限，最后访问和修改时间），可以创建特殊的文件（块设备，字符设备，管道，套接字），符号链接，硬链接。
MooseFS文件系统结构包括以下四种角色：
1 管理服务器managing server (master)
2 元数据日志服务器Metalogger server（Metalogger）
3数据存储服务器data servers (chunkservers)
4 客户机挂载使用client computers
原理图：

搭建的环境介绍

Master server: 10.96.153.223
Metalogger server : 10.96.153.224
chunk server : 10.96.153.221 10.96.153.222
client server : 10.96.153.225
这里使用两台chunk server，master、metalogger和client各一台进行测试，当然，如果由于服务器有限，可以把master和metalogger分别放在chunkserver上。

Master Server安装

1、下载解压

  1. #cd /usr/src

  2. #wget http://ncu.dl.sourceforge.net/project/moosefs/moosefs/1.6.26/mfs-1.6.26.tar.gz

  3. #tar xzf mfs-1.6.26.tar.gz

2、配置编译参数

  1. #groupadd mfs

  2. #useradd -g mfs mfs

  3. #cd mfs-1.6.26/

  4. #./configure --prefix=/usr/local/mfs --with-default-user=mfs --with-default-group=mfs --disable-mfsmount --disable-mfschunkserver

3、编译并安装

  1. #make

  2. #make install

4、配置文件

  1. #cd /usr/local/mfs/etc

  2. #cp mfsmaster.cfg.dist mfsmaster.cfg

  3. #cp mfsexports.cfg.dist mfsexports.cfg

更改配置文件mfsexports.cfg

  1. 10.96.153.0/24 / rw,alldirs,maproot=0

5、启动前准备

  1. #cd /usr/local/mfs/var/mfs

  2. #cp metadata.mfs.empty metadata.mfs

  3. #echo "10.96.153.221 mfsmaster" >> /etc/hosts

6、启动mfsmaster

  1. #/usr/local/mfs/sbin/mfsmaster start

7、监控服务

  1. #/usr/local/mfs/sbin/mfscgiserv

浏览器输入10.96.153.221:9425

mfsmetalogger搭建

1、下载解压

  1. #cd /usr/src

  2. #wget http://ncu.dl.sourceforge.net/project/moosefs/moosefs/1.6.26/mfs-1.6.26.tar.gz

  3. #tar xzf mfs-1.6.26.tar.gz

2、配置编译参数

  1. #groupadd mfs

  2. #useradd -g mfs mfs

  3. #cd mfs-1.6.26/

  4. #./configure --prefix=/usr/local/mfs --with-default-user=mfs --with-default-group=mfs --disable-mfsmount --disable-mfschunkserver

3、编译并安装

  1. #make

  2. #make install

4、配置文件

  1. #cd /usr/local/mfs/etc

  2. #cp mfsmetalogger.cfg.dist mfsmetalogger.cfg

5、启动前准备

  1. #echo "10.96.153.221 mfsmaster" >> /etc/hosts

6、启动mfsmetalogger

  1. ##/usr/local/mfs/sbin/mfsmetalogger start

Chunk servers 安装

1、下载解压

  1. #cd /usr/src

  2. #wget http://ncu.dl.sourceforge.net/project/moosefs/moosefs/1.6.26/mfs-1.6.26.tar.gz

  3. #tar xzf mfs-1.6.26.tar.gz

2、配置编译参数

  1. #groupadd mfs

  2. #useradd -g mfs mfs

  3. #cd mfs-1.6.26/

  4. #./configure --prefix=/usr/local/mfs --with-default-user=mfs --with-default-group=mfs --disable-mfsmount --disable-mfsmaster

3、编译并安装

  1. #make

  2. #make install

4、创建磁盘(100G)

  1. #dd if=/dev/zero of=/mnt/storage/mfschunks1 bs=1024 count=1 seek=$((100*1024*1024-1))

  2. #mkfs -t ext3 /mnt/storage/mfschunks1

  3. #mkdir -p /mnt/mfs1

  4. #mount -t ext3 -o loop /mnt/storage/mfschunks1 /mnt/mfs1

5、配置文件

  1. #cd /usr/local/mfs/etc

  2. #cp mfschunkserver.cfg.dist mfschunkserver.cfg

  3. #cp mfshdd.cfg.dist mfshdd.cfg

更改配置文件mfshdd.cfg,加入：

  1. /mnt/mfs1

6、启动前准备

  1. #echo "10.96.153.221 mfsmaster" >> /etc/hosts

  2. #chown -R mfs:mfs /mnt/mfs1

7、启动chunkserver

  1. ##/usr/local/mfs/sbin/mfschunkserver start

mfsclient安装

1、下载解压

  1. #cd /usr/src

  2. #wget http://ncu.dl.sourceforge.net/project/moosefs/moosefs/1.6.26/mfs-1.6.26.tar.gz

  3. #tar xzf mfs-1.6.26.tar.gz

2、配置编译参数

  1. #groupadd mfs

  2. #useradd -g mfs mfs

  3. #cd mfs-1.6.26/

  4. #./configure --prefix=/usr/local/mfs --with-default-user=mfs --with-default-group=mfs --disable-mfsmaster--disable-mfschunkserver

3、编译并安装

  1. #make

  2. #make install

4、启动前准备

  1. mkdir /mnt/mfs

  2. #echo "10.96.153.221 mfsmaster" >> /etc/hosts

5、开始挂载

  1. #/usr/local/mfs/bin/mfsmount /mnt/mfs -H mfsmaster

6、检查
df -h查看输出

MFS维护

5.1、启动MFS集群

  • 1、启动mfsmaster 进程

  • 2、启动所有的mfschunkserver 进程

  • 3、启动mfsmetalogger 进程（如果配置了mfsmetalogger）

  • 4、当所有的chunkservers 连接到MooseFS master 后，任何数目的客户端可以利用mfsmount 去挂接被export 的文件系统。（可以通过检查master 的日志或是CGI 监视器来查看是否所有的chunkserver被连接）。

5.2、停止MFS集群

  • 1、在所有的客户端卸载MooseFS 文件系统（用umount 命令或者是其它等效的命令）

  • 2、用mfschunkserver stop 命令停止chunkserver 进程

  • 3、用mfsmetalogger stop 命令停止metalogger 进程

  • 4、用mfsmaster stop 命令停止master 进程

5.3、MFS chunkservers 的维护

若每个文件的goal（目标）都不小于2，并且没有under-goal 文件（这些可以用mfsgetgoal –r和mfsdirinfo 命令来检查），那么一个单一的chunkserver 在任何时刻都可能做停止或者是重新启动。以后每当需要做停止或者是重新启动另一个chunkserver 的时候，要确定之前的chunkserver 被连接，而且要没有under-goal chunks。

5.4、MFS元数据备份

用rsync定时备份/usr/local/app/soft/mfs/var/mfs/metadata.mfs.back

5.5、MFS Master的恢复

  1. mfsmetarestore -a

5.6、从MetaLogger中恢复Master

  1. mfsmetarestore -m metadata.mfs.back -o metadata.mfs changelog_ml.*.mfs

转载于:https://blog.51cto.com/dwlinux/1381213

分布式存储MooseFS的搭建相关推荐

  1. moosefs mysql_moosefs搭建与应用

    moosefs搭建与应用 MooseFS简介: MooseFS是一个具备冗余容错功能的分布式网络文件系统,它将数据分别存放在多个物理服务器单独磁盘或分区上,确保一份数据有多个备份副本.因此MooseF ...

  2. 写写最近吧，关于读研、找工作

    刚刚又被朋友问到为什么要选择读研的问题了.已经好多好多人问过我这样的问题,我何尝不想问问自己到底为什么要读研呢.前段时间,每天在睡觉之前都我要想出无数个理由劝服自己要坚持读研,而每天早上第一件事又是再 ...

  3. 【观察】加速IPFS基础设施落地，西部数据的三重独特优势

    申耀的科技观察 读懂科技,赢取未来! 可以看到,今天现实物理世界与虚拟数字世界的融合,让数据出现了爆炸式增长. 根据IDC白皮书预测,2018年至2025年中国的数据量将以30%的年平均增长速度领先全 ...

  4. 【恩墨学院】航空业走向发展黄金期，P2P线下金融实现线上大迁徙

    航空业走向发展黄金期,P2P线下金融实现线上大迁徙 自2014年遭遇全球贸易条件恶化,导致经济在连续两年的时间一直处于增长缓慢的低迷时期,到2016年世界经济增长速度估计仅为2.2%,是2009年大衰 ...

  5. 航空业走向发展黄金期，P2P线下金融实现线上大迁徙

    自2014年遭遇全球贸易条件恶化,导致经济在连续两年的时间一直处于增长缓慢的低迷时期,到2016年世界经济增长速度估计仅为2.2%,是2009年大衰退以来最低的增长率.直到年底,全球经济逐渐缓慢复苏. ...

  6. 知乎热议：数据仓库、数据湖、湖仓一体，究竟有什么区别？

    来源:知乎    作者:十叶心 全文共 14108个字,建议阅读 20分钟 一.基本概念 1.1数仓发展历史 数据湖是以集中方式存储各种类型数据,提供弹性的 容量和吞吐能力,能够覆盖广泛的数据源,支持 ...

  7. linux第二阶段架构

    综合架构 day01 综合架构原理 1.企业上网原理 路由器配置:第一步:获取设备管理IP地址,修改笔记本网卡地址第二步:外网线路配置(运营商),完成路由或拨号配置(用户名 密码-- 获取外网IP)第 ...

  8. hadoop2.2.0 分布式存储hdfs完全分布式搭建及功能测试记录（一）----架构及原理介绍...

    0.文档说明: 本文是围绕hadoop2.2的分布式文件系统hdfs进行分布式存储功能测试,形成的hdfs分布式存储功能测试报告,其中主要包括三大部分内容: 第一部分介绍了hdfs的基本原理: 第二部 ...

  9. 分布式存储 CentOS6.5虚拟机环境搭建FastDFS-5.0.5集群

    其实这是一篇来自:http://www.open-open.com/lib/view/open1435468300700.html 个人认为很适合新手参考的文章,感谢原创作者的努力. 分布式存储 Ce ...

最新文章

  1. OGRE 2.1 Windows 编译
  2. MyBatis学习笔记（一）
  3. CSS属性display:inline-block使用揭秘
  4. 搜索技巧——持续更新
  5. itchat没了咱们还可以用Python的wxpy模块来玩转微信
  6. 灵魂拷问：如何检查 Java 数组中是否包含某个值 ？
  7. 调整Redmine的用户显示格式
  8. 传奇服务器维护活力值怎么算,电竞传奇活力值怎么补满 电竞传奇快速恢复方法...
  9. 供应链金融管理系统-汇新云
  10. C++学习第十课--构造函数详解、explicit与初始化列表笔记
  11. discuz仿163k_Discuz模板-仿163k地方门户系统整站源码带数据
  12. 2022年安全员-C证上岗证题目及在线模拟考试
  13. 小米2s、2sc解激活锁和root
  14. 接收IWebBrowser2的自动化事件
  15. vue3.0之-watch全面解析
  16. 【Bard】来自谷歌的“吟游诗人”
  17. 蒋涛对话王成录：哪怕退休了我都想在中国把 HarmonyOS 做成
  18. QT 程序异常结束，crashed
  19. 我的读书笔记——Paralled Scavenge 收集器
  20. Unity接入海康网络摄像头（测试无延迟）

热门文章

  1. [UE4]解析json数据
  2. 洛谷.4172.[WC2006]水管局长(LCT Kruskal)
  3. 系统中异常公共处理模块 in spring boot
  4. 用字节流查看txt文件
  5. 数学之路(3)-机器学习(3)-机器学习算法-SVM[9]
  6. C#父类与子类（多态性）
  7. mysql数据库备份及恢复命令mysqldump,source的用法
  8. Tomcat Firewall JMX RMI
  9. 360公布权威机构对扣扣保镖的测试报告
  10. mysql数据库迁移到另一台电脑上