MFS分布式文件系统一

MFS是一个具备冗余容错功能的分布式网络文件系统，它将数据分别存放在多个物理服务器或单独磁盘或分区上，确保一份数据有多个备份副本。

一、MFS组成简介
Master servers：管理服务器，在整个体系中负责管理文件系统，控制多chunk server节点的数据拷贝。

Chunk Servers：数据存储服务器，存放数据文件实体的服务器，真正存储数据的服务器，服务器越多，容量就越大，可靠性越高，性能越好。
Metaloggers：元数据日志服务器，类似Mysql的主从同步，作用是备份管理服务器master的变化的metadata信息日志文件。
Clients：客户端，挂载并使用mfs文件系统的客户端，当读写文件时，客户端首先连接主管理服务器获取数据的metadata信息，然后根据得到的metadata信息，访问数据服务器读取或写入文件实体。

二、MFS安装和部署
需要准备：三台虚拟机server1、2、3和本机的真实主机，server1负责master、server2、3负责数据存储，真实主机负责客户端client。

server1:yum install -y moosefs-master-3.0.115-1.rhsystemd.x86_64.rpm moosefs-cgiserv-3.0.115-1.rhsystemd.x86_64.rpm

mfs主配置文件存放目录etc/mfs/
vim /etc/hosts 配置解析，使其解析到mfsmaster

启动服务，查看端口systemctl start moosefs-master systemctl start moosefs-cgiserv.service
netstat -antlp 9425是mfs所占用的端口

测试，firefox:172.25.9.1:9425

server2:安装相关rpm包yum install -y moosefs-chunkserver.x86_64 lsof

vim /etc/mfs/mfshdd.cfg修改配置文件，指向挂载目录/mnt/chunk1 再创建挂载目录

创建磁盘，分区格式化磁盘分区，并挂载

修改挂载目录用户和用户组chown mfs.mfs /mnt/chunk1/
编辑解析，使master指向172.25.9.1

启动服务systemctl start moosefs-chunkserver

测试：firefox:172.25.9.1:9425 +server 可以看到172.25.9.2

server3操作与server2一样

真实主机client端：下载rhel8相关的client文件yum install moosefs-client-3.0.115-1.rhsystemd.x86_64.rpm -y

编辑配置文件，指向挂载目录vim /etc/mfs/mfsmount.cfg /mnt/mfs/

编辑解析，

创建目录并mfs命令挂载mkdir /mnt/mfsmfsmount

server1查看端口

测试：进入目录存储文件，查看文件存储内容cd /mnt/mfs/

将dir1设定到mfs文件系统进行访问

获取副本数设定

查看文件信息

三、客户端删除文件并恢复
将源数据挂载到客户端mkdir /mnt/mfsmeta mfsmount -m /mnt/mfsmeta/

恢复：

四、storage class ---->通过标签确定
设定chunk端的标签vim /etc/mfs/mfschunkserver.cfg
server2:LABELS = A server3:LABELS = B server4:LABELS = A
systemctl reload moosefs-chunkserver.service
client端：

mfsscadmin create 2A class2A 需要在文件目录中进行
mfssetsclass -r class2A fstab 将fstab转换存储为2A方式

vim /etc/mfs/mfschunkserver.cfg
server2:LABELS = A S server3:LABELS = B H server4:LABELS = A H

网页查看端口设定情况

client端：mfsscadmin create AS,2H[A+B] classAS2HAB #需要在文件目录中进行
mfssetsclass -r classAS2HAB fstab #将fstab转换存储为2A方式

server2:LABELS = A S server3:LABELS = A B H S server4:LABELS = A H
client端：mfsscadmin create -C 2AS -K AS,BS -A AH,BH -d 7 classABSH #需要在文件目录中进行
mfssetsclass -r classABSH fstab #将fstab转换存储为2A方式

五、共享文件iscsi实现mfs高可用
server3:为iscis主机，为其添加虚拟磁盘
设置iscis，

server1:master需要备份的机器yum install -y iscsi-*
cd /etc/iscsi/ cat initiatorname.iscsi

iscsiadm -m discovery -t st -p 172.25.9.3

登陆成功后会生成以下文件

server1中多了一块sda1磁盘分区并挂载

查看文件，并将master文件复制到iscsi的挂载目录中

server2:负责备份server1中的master信息yum install -y moosefs-master.x86_64
下载iscsi相关安装包yum install -y iscsi-*

配置iscscat /etc/iscsi/initiatorname.iscsi

连接iscsi主机server3iscsiadm -m discovery -t st -p 172.25.9.3
查看磁盘，多了一块sda1，将其挂载
启动master服务systemctl start moosefs-master
server1中的master备份均完成。

六、双机热备份
安装需要的模块yum install -y pacemaker pcs psmisc policycoreutils-python
设置server1与server2免密登陆

将仓库文件scp给server2，并且在server1中通过ssh远程安装需要的部分,并远程开启服务pcsd
ssh server2 yum install -y pacemaker pcs psmisc policycoreutils-python

server1和server2均设定需要认证的用户和密码

认证server1和server2

设置server1和server2为mycluster集群

启动集群

设定后警告取消pcs property set stonith-enabled=false

设定vip模块监控时间间隔为30s，此处ip是未占用的ip用于mfsmaster。

查看Filesystem使用方法pcs resource describe ocf

MFS分布式文件系统一相关推荐

一幅长文细学华为MRS大数据开发（二）——HDFS分布式文件系统和ZooKeeper
文章目录 2 HDFS分布式文件系统和ZooKeeper 2.1 HDFS概述以及应用场景 HDFS概述 HDFS应用场景 HDFS不适合的场景 2.2 HDFS相关概念计算机集群结构基本系统架构 ...
MFS分布式文件系统搭建
MFS分布式文件系统介绍 m ooseFS(moose 驼鹿)是一款网络分布式文件系统.它把数据分散在多台服务器上,但对于用户来讲,看到的只是一个源.MFS也像其他类unix文件系统一样,包含了层级结 ...
MFS分布式文件系统存储之文件的删除恢复
MFS分布式文件系统存储之文件的删除恢复在MFS分布式集群中,Client 客户端的~/mfs/bin下具有很多的脚本命令,实现对master server虚拟共享目录的管理. 今天主要介绍的是其下 ...
mfs文件服务器,MFS分布式文件系统搭建
MFS概述 MooseFS是一个具有容错性的网络分布式文件系统.它把数据分散存放在多个物理服务器上,而呈现给用户的则是一个统一的资源. 优势 1.高可靠(数据的多个拷贝被存储在不同的计算机上) 2.通 ...
MFS分布式文件系统的搭建
MFS分布式文件系统的搭建一:介绍MFS MFS(MooseFS)是一个具有容错性的网络分布式文件系统.它把数据分散存放在多个物理服务器上,而呈现给用户的则是一个统一的资源. MFS也像其他类的 ...
MFS分布式文件系统的部署
目录一.MFS分布式文件系统详述分布式简介 MFS分布式文件系统的原理 MFS文件系统的组成 MFS文件系统的工作过程二.MFS分布式文件系统的部署实验环境配置Master Server 配 ...
MFS分布式文件系统及监控
MFS分布式文件系统文件系统:ext4.xfs.ext3 mooseFS(moose 驼鹿)是一款网络分布式文件系统.它把数据分散在多台服务器上,但对于用户来讲,看到的只是一个源.MFS也像其他类U ...
盘点分布式文件存储系统____分布式文件存储系统简介
盘点分布式文件存储系统在项目的数据存储中,结构化数据通常采用关系型数据库,非结构化数据(文件)的存储就有很多种方式,服务器本地存储.Nas挂载.ftp等等,今天就来盘点一下,分布式文件存储系统. 一 ...
大数据开发：分布式文件存储系统简介
在分布式存储技术体系当中,分布式文件存储是其中的分类之一,也是大数据架构当中常常用到的.得益于Hadoop的高人气,Hadoop原生的HDFS分布式文件系统,也广泛为人所知.但是分布式文件存储系统,并 ...

MFS分布式文件系统一

MFS分布式文件系统一相关推荐

最新文章

热门文章