存储组件之MFS详解

一、引言

MFS：MooseFS是一个具有冗余容错功能的分布式网络文件系统，具有高可靠性，高可扩展性，高可容错性和高数据一致性
应用场景：
1、大规模高并发的线上数据存储及访问（不论大文件还是小文件）
2、大规模的数据处理，如日志分析、小文件强调性能不用HDFS

二、组件

网络架构：

管理服务器 managing server，简称master：它是管理整个mfs文件系统的主服务器，出了分发用户请求外，还用来存储整个文件系统的metadata信息，包括目录、socket、管道、块设备等的大小、属性、文件路径等内容
元数据备份服务器 metadata backup server，简称metalogger：此组件作用是备份管理服务器master的metadata信息日志文件，文件类型为changelog_ml.*.mfs，用于在管理服务器出现问题时，可以经过简单的操作让新的主服务器进行工作
数据存储服务器 data server(chunk server)，简称data：该组件是存放数据文件的实体服务器，可以由多台不同的物理服务器或不同的磁盘充当，当配置数据的副本多余一份时，或数据写入到另一台数据服务器后，会根据算法在其他数据服务器进行同步备份
客户机服务器组 client server，简称client：此组件是用于挂载使用mfs文件系统的客户端，当读写文件时，客户端会连接到主管理服务器获取数据的metadata信息，然后根据得到的元数据信息访问数据服务器读取或写入文件实体，mfs客户端通过fuse机制实现挂载mfs文件系统的目的。因此，只要系统支持fuse，就可以作为客户端访问mfs整个文件系统

三、安装使用

实验环境：
|IP|备注|
|–|--|
| 192.168.43.200 | master节点 |
| 192.168.43.201 | Metalogger节点 |
| 192.168.43.202 | chunk server节点1 |
| 192.168.43.203 | chunk server节点2 |
| 192.168.43.204 | client节点 |

前期准备
准备yum源，以centos7为例

curl "https://ppa.moosefs.com/RPM-GPG-KEY-MooseFS" > /etc/pki/rpm-gpg/RPM-GPG-KEY-MooseFS
curl "http://ppa.moosefs.com/MooseFS-3-el7.repo" > /etc/yum.repos.d/MooseFS.repo

Master主节点

安装主程序

yum install moosefs-master moosefs-cgi moosefs-cgiserv moosefs-cli

修改解析/etc/hosts

192.168.43.200 mfsmaster

启动服务

systemctl start moosefs-master
systemctl start moosefs-cgiserv

访问http://192.168.43.20:9425，出现则表示主节点部署完成

元数据节点Metaloger Server部署
安装软件 yum install -y moosefs-metalogger
修改解析/etc/hosts
```
192.168.43.200   mfsmaster
```
启动服务
```
systemctl start moosefs-metalogger
```
存储服务器chunk server部署
存储节点1：
安装软件包yum install -y moosefs-chunkserver
修改解析/etc/hosts
bash 192.168.43.200 mfsmaster
配置数据目录
bash mkdir /mnt/chunk1 chown mfs.mfs /mnt/chunk1 #存储是mfs的块文件 echo '/mnt/chunk1'>> /etc/mfs/mfshdd.cfg #定义mfs共享点
启动服务
bash systemctl start moosefs-chunkserver
存储节点2：
安装软件包yum install -y moosefs-chunkserver
修改解析/etc/hosts
bash 192.168.43.200 mfsmaster
配置数据目录
bash mkdir /mnt/chunk2 chown mfs.mfs /mnt/chunk2 #存储是mfs的块文件 echo '/mnt/chunk2'>> /etc/mfs/mfshdd.cfg #定义mfs共享点
启动服务
bash systemctl start moosefs-chunkserver
验证
client客户端部署
安装软件包yum install -y moosefs-client
修改解析/etc/hosts
```
192.168.43.200   mfsmaster
```
定义客户端默认挂载vi /etc/mfs/mfsmount.cfg
```
mfsmaster=mfsmaster # 挂载地址
/mnt/mfs # 挂载目录
```
创建挂载目录 mkdir -p /mnt/mfs
挂载到系统 mfsmount /mnt/mfs/
安装总体验证

四、数据同步高可用配置

高可用：keepalive 主从节点
数据同步：rsync
详见：转载
待续。。。