分布式文件系统MooseFs部署(二)
metalogger的安装
安装步骤和master一样
创建用户
Useradd -M –s /sbin/nologin mfs
解压软件
Tar zxf mfs-1.6.20-2.tar.gz
进入软件目录
Cd mfs-1.6.20-2
编译安装
./configure --prefix=/usr/local/mfs \ #安装路径
--with-default-user=mfs \ #默认用户
--with-default-group=mfs \ #默认组
--disable-mfsmount \ #不编译客户端
--disable-mfschunkserver #不编译数据存储端
Make && make install
metalogger的配置
同master一样,将/usr/local/mfs/etc/下的mfsmetalogger.cfg.dist变为mfsmetalogger.cfg即可,metalogger服务器只需要此配置文件。
[root@centos5 etc]# vi mfsmetalogger.cfg
# WORKING_USER = mfs
# WORKING_GROUP = mfs
# SYSLOG_IDENT = mfsmetalogger
# LOCK_MEMORY = 0
# NICE_LEVEL = -19
# DATA_PATH = /usr/local/mfs/var/mfs
# BACK_LOGS = 50
# META_DOWNLOAD_FREQ = 24
# MASTER_RECONNECTION_DELAY = 5
MASTER_HOST = 192.168.1.10
#上面将IP改成MASTER的IP
#MASTER_PORT = 9419
# MASTER_TIMEOUT = 60
# deprecated, to be removed in MooseFS 1.7
# LOCK_FILE = /var/run/mfs/mfsmetalogger.lock
现在可以启动mfsmetaloger服务器
cd /usr/local/mfs/sbin/
./ mfsmetalogger start
查看mfsmetalogger状态
[root@centos5 sbin]# ps -ef |grep mfsmetalogger|grep -v grep
mfs 23291 1 0 10:25 ? 00:00:01 /usr/local/mfs/sbin/mfsmetalogger start
另外可以看日志目录是否有master端传过来的数据
[root@centos5 mfs]# ll /usr/local/mfs/var/mfs/
total 64
-rw-r----- 1 mfs mfs 402 Apr 10 15:51 changelog_ml.3.mfs
-rw-r----- 1 mfs mfs 104 Apr 10 15:09 changelog_ml.4.mfs
-rw-r----- 1 mfs mfs 830 Apr 10 14:06 changelog_ml.5.mfs
-rw-r----- 1 mfs mfs 0 Apr 10 11:59 changelog_ml_back.0.mfs
-rw-r----- 1 mfs mfs 0 Apr 10 11:59 changelog_ml_back.1.mfs
-rw-r--r-- 1 mfs mfs 8 Apr 10 10:20 metadata.mfs.empty
-rw-r----- 1 mfs mfs 95 Apr 10 11:59 metadata_ml.mfs.back
-rw-r----- 1 mfs mfs 8 Apr 10 11:49 sessions.mfs
-rw-r----- 1 mfs mfs 684 Apr 10 18:24 sessions_ml.mfs
chunkserver的安装
安装步骤也和master一样
创建用户
Useradd -M –s /sbin/nologin mfs
解压软件
Tar zxf mfs-1.6.20-2.tar.gz
进入软件目录
Cd mfs-1.6.20-2
编译安装
./configure --prefix=/usr/local/mfs \ #安装路径
--with-default-user=mfs \ #默认用户
--with-default-group=mfs \ #默认组
--disable-mfsmaster\ #不编译master端
Make && make install
chunkserver的配置
chunkserver配置文件是/usr/local/mfs/etc下的mfschunkserver.cfg.dist mfshdd.cfg.dist
cp mfschunkserver.cfg.dist mfschunkserver.cfg
cp mfshdd.cfg.dist mfshdd.cfg
[root@localhost etc]# vi mfschunkserver.cfg
# WORKING_USER = mfs
# WORKING_GROUP = mfs
# SYSLOG_IDENT = mfschunkserver
# LOCK_MEMORY = 0
# NICE_LEVEL = -19
# DATA_PATH = /usr/local/mfs/var/mfs
# MASTER_RECONNECTION_DELAY = 5
BIND_HOST = 192.168.1.161
#上面设置本机IP
MASTER_HOST = 192.168.1.10
#上面将IP设置为MASTER的IP
# MASTER_PORT = 9420
# MASTER_TIMEOUT = 60
#下面用于和其他chunkserver之间的连接,一般是复制数据
# CSSERV_LISTEN_HOST = *
# CSSERV_LISTEN_PORT = 9422
#下面是分配给MFS磁盘空间的配置文件的位置
# HDD_CONF_FILENAME = /usr/local/mfs/etc/mfshdd.cfg
# HDD_TEST_FREQ = 10
# deprecated, to be removed in MooseFS 1.7
# LOCK_FILE = /var/run/mfs/mfschunkserver.lock
# BACK_LOGS = 50
# CSSERV_TIMEOUT = 5
[root@localhost etc]# vi mfshdd.cfg
/home/data1
然后建立此文件
Mkdir /home/data1
Chown –R mfs.mfs /home/data1
现在可以启动mfschunkserver服务器
cd /usr/local/mfs/sbin/
./mfschunkserver start
[root@localhost etc]# ps -ef|grep mfschunkserver|grep -v grep
mfs 18929 1 0 01:51 ? 00:00:00 ./mfschunkserver start
客户端的安装
客户端需要fuse-2.7.6的支持,所以需要先安装fuse-2.7.6
fuse简介
用户空间文件系统(Filesystem in Userspace,简称FUSE)是操作系统中的概念,指完全在用户态实现的文件系统。目前Linux通过内核模块对此进行支持。一些文件系统如ZFS,glusterfs和lustre使用FUSE实现。Linux用于支持用户空间文件系统的内核模块名叫FUSE,FUSE一词有时特指Linux下的用户空间文件系统。文件系统是一个通用操作系统重要的组成部分。传统上操作系统在内核层面上对文件系统提供支持。而通常内核态的代码难以调试,生产率较低。Linux从2.6.14版本开始通过FUSE模块支持在用户空间实现文件系统。
在用户空间实现文件系统能够大幅提高生产率,简化了为操作系统提供新的文件系统的工作量,特别适用于各种虚拟文件系统和网络文件系统。上述ZFS和glusterfs都属于网络文件系统。但是,在用户态实现文件系统必然会引入额外的内核态/用户态切换带来的开销,对性能会产生一定影响。
fuse内核模块和fuse lib库通过一个文件描述符通信,/dev/fuse 文件描述符可以被打开多次,获得的文件描述符被传递到mount系统调用,用来匹配已经挂载的文件系统。
fuse安装
Tar zvf fuse-2.7.6.tar.gz
cd fuse-2.7.6
./configure
make && make install
mfs客户端安装
安装步骤也和master一样
创建用户
Useradd -M –s /sbin/nologin mfs
解压软件
Tar zxf mfs-1.6.20-2.tar.gz
进入软件目录
Cd mfs-1.6.20-2
编译安装
./configure --prefix=/usr/local/mfs \ #安装路径
--with-default-user=mfs \ #默认用户
--with-default-group=mfs \ #默认组
--disable-mfsmaster \ #不编译master端
--disable-mfschunkserve \ #不编译chunkserver端
--enable-mfsmount
Make && make install
然后创建挂接点mkdir /mnt/mfs
保证fuse被加载进去,modprobe fuse
查看是否加载:
[root@localhost src]# lsmod |grep fuse
fuse 56128 2
进入/usr/local/mfs/bin目录下
/usr/local/mfs/bin/mfsmount /data/mfs -H 192.168.1.10
Df查看分区是否挂载上
[root@localhost src]# df -h
Filesystem Size Used Avail Use% Mounted on
/dev/sda2 3.9G 3.4G 293M 93% /
tmpfs 122M 0 122M 0% /dev/shm
/dev/sda1 49M 36M 11M 77% /boot
/dev/sda3 5.0G 139M 4.6G 3% /home
192.168.1.10:9421 8.7G 0 8.7G 0% /mnt/mfs
MFS安全启动:
启动master server 进程: /usr/local/mfs/sbin/mfsmaster start
启动 metalogger 进程: /usr/local/mfs/sbin/mfsmetalogger start
启动 metalogger 进程: /usr/local/mfs/sbin/mfsmetalogger start
所有客户端挂载mfs共享分区:/usr/local/mfs/bin/mfsmount /data/mfs -H 192.168.1.10
MFS安全停止:
所有客户端用Unmount 命令先卸载文件系统:umount /data/mfs
停止chunk server 进程: /usr/local/mfs/sbin/mfschunkserver stop
停止 metalogger 进程: /usr/local/mfs/sbin/mfsmetalogger stop
停止 master server 进程: /usr/local/mfs/sbin/mfsmaster stop
转载于:https://blog.51cto.com/lsscto/832501
分布式文件系统MooseFs部署(二)相关推荐
- 分布式文件系统MooseFS的部署安装
概述: MooseFS是一种分布式文件系统,MooseFS文件系统结构包括以下四种角色: 1 管理服务器managing server (master) 2 元数据日志服务器Metalogger se ...
- MFS分布式文件系统的部署
目录 一.MFS分布式文件系统详述 分布式简介 MFS分布式文件系统的原理 MFS文件系统的组成 MFS文件系统的工作过程 二.MFS分布式文件系统的部署 实验环境 配置Master Server 配 ...
- 分布式文件系统及其部署
原文地址为: 分布式文件系统及其部署 DFS介绍 使用分布式文件系统可以轻松定位和管理网络中的共享资源.使用统一的命名路径完成对所需资源院的访问.提供可靠的负载平衡.与FRS(文件复制服务)联合在多台 ...
- Redhat5.4 系统上部署 MooseFS分布式文件系统的部署
第一, 分布式文件系统的介绍 分布式文件系统有数十种方案可供选择.如:ustre ,hadoop,Pnfs 等.还有下面要实现的moosfes moosfes 文件系统具有 ...
- 分布式文件系统MooseFS初探
这几天在看架构方面的资料,关于共享存储方面的参考sery的文章,自已简单的测试了一下,测试步骤及结果如下: 一,测试环境: 服务器用途 操作系统 IP地址 服务器型号 CPU型号 内存 Master ...
- 3.分布式文件系统HDFS之二
---------------- (二.1)冗余数据保存 (二.2)数据存取策略:1.数据存放 2.数据读取 (二.3)数据错误与恢复 ================== 代码理论以及代码实践 == ...
- 安装分布式文件系统MooseFS
示意图 #4种角色共有的安装步骤 yum install gcc zlib zlib-devel fuse fuse-devel fuse-libs libpcap libpcap-devel net ...
- 网络分布式文件系统-MFS搭建以及部署详解
实验环境: 主机名 功能 server1 master server server2 chunk servers server3 chunk servers foundation8.ilt.examp ...
- 分布式应用之GFS分布式文件系统
内容预知 前言 1. GlusterFS的相关知识 1.1 GlusterFS简介 1.2 GlusterFS特点 1.3 GlusterFS 术语 1.4 模块化堆栈式架构 1.5 GlusterF ...
最新文章
- OpenCV像素点处理
- codevs1137 计算系数
- python networkx模块,python复杂网络处理模块networkx
- Sprint第二个冲刺(第八天)
- 通过python建立一个web服务查看服务器上的文本、图片、视频等文件
- anguarjs 图片预览_Text to Image Converter(文字转图片软件)下载-Text to Image Converter(文字转图片软件)v1.5绿色版下载...
- 用户,群组和权限 二
- 开源 | App 开发神仙工具:帮你抓 Bug
- nodeJs配置相关以及JSON.parse
- maven集成tomcat插件启动报错
- HCIE理论-IPV6
- Rust: 在子线程启动子线程
- 一个简单的轮播图代码
- java 地心坐标系(ECEF)和WGS-84坐标系(WGS84)互转
- 上市集团计算离职率sql案例
- 二值化网络(BNN)如何训练?这篇ICML 2021论文给你答案
- OfficePlus 微软官方大量 模板与图片素材 可供个人免费下载试用
- css内边距外边距和边框
- matlab的trial,Free Product Trial - MATLAB Simulink
- 用java代码检查sql语法错误_您的SQL语法有错误;检查与MariaDB服务器版本对应的手册,以便在第1行'?'附近使用正确的语法...
热门文章
- 对方启用和留言是什么意思_男子花八万元装修,装修到一半要求加价,对方:补给我一万两天就能装好...
- r语言 回归分析 分类变量_R语言进阶之广义线性回归
- 最小二乘法、梯度下降法和两者区别
- python化学公式_(CSP)201912-3化学方程式-python实现
- 485通信c语言编程linux,485通讯问题(C语言)
- 设置居中_安卓手机时间怎么显示在中间 时间居中设置教程
- albert-chinese-ner使用预训练语言模型ALBERT做中文NER
- 基于seq2seq模型的chatbot对话系统的tensorflow实现
- python中素数的求法_Python 2种方法求某个范围内的所有素数(质数)
- linux svn 自动启动,Linux下设置svn开机自启动