GlusterFS分布式文件系统群集

技能展示
理解GlusterFS工作原理
理解弹性HASH算法心
掌握几种类型的GlusterFS卷
掌握部署GlusterFS的方法

简介
在企业中,一些重要的数据一般存储在硬盘上,虽然硬盘本身的性能也在不断提高,但是无论硬盘的存取速度有多快,企业所追寻的首先是可靠性,然后才是效率。如果数据面临丢失的风险,再好的硬件也无法挽回企业的损失。加之近几年云计算的出现,对存储提出了更高的要求。而分布式存储逐渐被人们所接受,它具有更好的性能、高扩展性以及可靠性。大部分分布式解决方案都是通过元服务器存放目录结构等元数据,元数据服务器提供了整个分布式存储的索引工作。但是一旦元数据服务器损坏,整个分布式存储业将无法工作。本章介绍一款无元服务器的分布式存储解决方案, GlusterFS。
重点
理解GlusterFS工作原理
部署GlusterFs
理论讲解
GlusterFS概述
1.GlusterFS简介
GlusterFS是一个开源的分布式文件系统,同时也是Scale-Out存储解决方案Gluster的核心,在存储数据方面具有强大的横向扩展能力,通过扩展不同的节点可以支持数PB级别的存储容量。GlusterS借助TCP/IP或InfiniBand RDMA网络将分散的存储资源汇聚在一起,统一提供存储服务,并使用单一全局命名空间来管理数据. GusterfS基于可堆叠的用户空间以及无元的设计,可为各种不同的数据负载提供优异的性能。
GlusterFS主要由存储服务器(Brick Server).客户端及NFS/Samba存储网关(可选,根据需要选择使用)组成, GlusterFS架构中最大的设计特点是没有元数据服务器组件,这有助于提升整个系统的性能、可靠性和稳定性。传统的分布式文件系统大多通过元服务器来存储元数据,元数据包含存储节点上的目录信息,目录结构等,这样的设计在浏览目录时效率非常高,但是也存在一些缺陷,如单点故障,一旦元数据服务器出现故障,即使节点具备再高的冗余性,整个存储系统也将崩溃,而GlusterS分布式文件系统是基于无元服务器的设计,数据横向扩展能力强,具备较高的可靠性及存储效率, GlusterFS支持TCP/P和InfiniBandRDMA高速网络互联,客户端可通过原生GlusterFS协议访问数据,其他没有运行GlusterFS客户端的终端可通过NFS/CIFS标准协议通过存储网关访问数据。

2. GlusterFS的特点
扩展性和高性能. GlusterFS利用双重特性来提供高容量存储解决方案。
Scale-Out架构通过增加存储节点的方式来提高存储容量和性能(磁盘、计算和1/0资源都可以独立增加),支持10GbE和nfiniBand等高速网络互联。
Gluster弹性哈希(Elastic Hash)解决了GlusterFS对元数据服务器的依赖, GlusterfS采用弹性哈希算法在存储池中定位数据,放弃了传统的通过元数据服务器定位数据。GlusterFS中可以智能地定位任意数据分片(将数据分片存储在不同节点上),不需要查看索引或者向元数据服务器查询。这种设计机制实现了存储的横向扩展,改善了单点故障及性能瓶颈，真正实现了并行化数据访问。
高可用性.GlusterFS通过配置某些类型的存储卷,可以对文件进行自动复制(类似于RAD1),即使某个节点出现故障,也不影响数据的访问,当数据出现不一致时, 自动修复功能能够把数据恢复到正确的状态,数据的修复是以增量的方式在后台执行,不会占用太多系统资源。 GlusterFS可以支持所有的存储,因为它没有设计自己的私有数据文件格式,而是采用操作系统中标准的磁盘文件系统(如EXT3, XFS等)来存储文件,数据可以使用传统的访问磁盘的方式被访问。
全局统一命名空间。全局统一命名空间将所有的存储资源聚集成一个单一的虚拟存储池,对用户和应用屏蔽了物理存储信息。存储资源(类似于LVM)可以根据生产环境中的需要进行弹性扩展或收缩。在多节点场景中,全局统一命名空间还可以基于不同节点做负载均衡,大大提高了存取效率。
弹性卷管理. GlusterFS通过将数据储存在逻辑卷中,逻辑卷从逻辑存储池进行独立逻辑划分,逻辑存储池可以在线进行增加和移除,不会导致业务中断。逻辑卷可以根据需求在线增长和缩减,并可以在多个节点中负载均衡。文件系统配置更改也可以实时在线进行并应用,从而可以适应工作负载条件变化或在线性能调优。
基于标准协议.Gluster存储服务支持NFS, CIS, HTTP, FTP, SMB及Gluster原生协议,完全与POSIX标准兼容。现有应用程序不需要做任何修改就可以对Gluster中的数据进行访问,也可以使用专用API进行访问(效率更高),这在公有云环境中部署Gluster时非常有用,Gluster对云服务提供商专用APl进行抽象,然后提供标准POSIX接口。
3. GlusterFS术语
Brick (存储块):指可信主机池中由主机提供的用于物理存储的专用分区,是GlusterFS中的基本存储单元,同时也是可信存储池中服务器上对外提供的存储目录。存储目录的格式由服务器和目录的绝对路径构成,表示方法为SERVER,EXPORT,如192.168.1.4/data/mydir/。
Volume (逻辑卷):一个逻辑卷是一组Brick的集合。卷是数据存储的逻辑设备,类似于LVM中的逻辑卷,大部分Gluster管理操作是在卷上进行的。
FUSE (Filesystem inUserspace) :是一个内核模块,允许用户创建自己的文件系统,无须修改内核代码。
VS:内核空间对用户空间提供的访问磁盘的接口。
Glusterd (后台管理进程):在存储群集中的每个节点上都要运行。

GlusterFS的工作原理1. GlusterFS的工作流程GlusterFS数据访问流程如下图所示。

(1)客户端或应用程序通过GlusterFS的挂载点访问数据。
(2) Linux系统内核通过VFS API收到请求并处理。
(3) VFS将数据递交给FUSE内核文件系统,并向系统注册一个实际的文件系统FUSE,而FUSE文件系统则是将数据通过/dev/fuse设备文件递交给了GlusterfS client端。可以将FUSE文件系统理解为一个代理。
(4) GlusterFS client收到数据后, client根据配置文件对数据进行处理。
(5)经过GlusterFS client处理后,通过网络将数据传递至远端的GlusterFS Server,并且将数据写入服务器存储设备。
2.弹性HASH算法弹性HASH算法使用Davies-Meyer算法,通过HASH算法得到一个32位的整数范围,假设逻辑卷中有N个存储单位Brick,则32位的整数范围将被划分为N个连续的子空间,每个空间对应一个Brick.当用户或应用程序访问某一个命名空间时,通过对该命名空间计算HASH值,根据该HASH值所对应的32位整数空间定位数据所在的Brick,弹性HASH算法的优点表现如下。
保证数据平均分布在每个Brick中。
解决了对元数据服务器的依赖,进而解决了单点故障及访问瓶颈。现在我们假设创建了一个包含四个Brick节点的GlusterfS卷,在服务端的Brick挂载目录会给四个Brick平均分配2"的区间的范围空间, GlusterfS hash分布区间是保存在目录上而不是根据机器去分布区间。如图13.4所示, Brick*表示一个目录。分布区间保存在每个Brick挂载点目录的扩展属性上。

在卷中创建四个文件,分别是test-file1, test-file2 test-file3 test-file4,在访问文件时,通·过快速Hash函数计算出对应的HASH值(2"范围的数值),然后根据计算出来的HASH值所对应的子空间散列到服务器的Brick上,如下图所示。

GlusterFS的卷类型
GlusterFS支持七种卷,即分布式卷、条带卷、复制卷、分布式条带卷、分布式复制卷、条带复制卷和分布式条带复制卷,这七种卷可以满足不同应用对高性能、高可用的需求。
基本卷
分布式卷(Distribute volume) :文件通过HASH算法分布到所有Brick Server上,这种卷是Glusterf的基础:以文件为单位根据HASH算法散列到不同的Brick,其实只是扩大了磁盘空间,如果有一块磁盘损坏,数据也将丢失,属于文件级的RAD0,不具有容错能力。
条带卷(Stripe volume) :类似RADO,文件被分成数据块并以轮询的方式分布到多个BrickServer上,文件存储以数据块为单位,支持大文件存储,文件越大,读取效率越高。
复制卷(Replica volume):将文件同步到多个Brick上,使其具备多个文件副本,属于文件级RAD1,具有容错能力。因为数据分散在多个Brick中,所以读性能得到很大提升,但写性能下降。
分布式条带卷(Distribute Stripe volume) : Brick Server数量是条带数(数据块分布的Brick数量)的倍数,兼具分布式卷和条带卷的特点。
分布式复制卷(Distribute Replica volume) : Brick Server数量是镜像数(数据副本数量)的倍数,兼具分布式卷和复制卷的特点。
条带复制卷(Stripe Replica volume):类似RAID 10,同时具有条带卷和复制卷的特点。
分布式条带复制卷(Distribute Stripe Replicavolume) :三种基本卷的复合卷,通常用于类MepReduce应用。

1.GlusterFS作用和特点
1）GlusterFS的作用
开源的存储系统
可以将普通计算机磁盘进行共享给服务器使用
2）GlusterFS特点
扩展性强
高性能读取和写入数据
支持故障冗余避免单节点故障数据丢失
支持存储空间到PB
支持NFS.CIFS.http.ftp访问glusterFS存储
2.GlusterFS属于
1）Brick
存储块
占用物理磁盘空间
用户读取写入数据按照存储块进行
一个物理磁盘可以包含多个存储块
2）Volume
逻辑卷
逻辑卷管理存储块
一个逻辑卷包含多个存储块
3）FUSE
是一个内核模块
允许用户通过glusterFS创建文件系统，访问共享存储
4）VFS
访问GlusterFS分布式文件系统后台
用户使用需要启动服务
3.glusterFS卷的类型
1）分布式卷
方便扩展磁盘空间
不支持高可用
不支持高性能读取和写入数据
支持XFS.EXT4.ZFS文件系统
2）条带卷
支持高性能读取和写入数据
将大文件划分成若干个小文件分散式存储
读取写入从多台服务器获取加快读写速度
不支持高可用
3）复制卷
支持高可用，磁盘故障数据不会丢失
不支持高性能读取和写入
参与复制卷磁盘空间必须相同
磁盘可用空间是50%
4）分布式条带卷
支持分布式卷的磁盘空间扩展
支持条带卷的高性能读写
不支持高可用
不能低于四台服务器组成分布式卷
5）分布式复制卷
支持分布式卷磁盘空间扩展
支持复制卷的可靠性
不支持高性能读写
6）条带复制卷
支持条带卷的高性能读取和写入
支持复制卷的高可用
不能低于四台服务器
7）分布式条带复制卷
支持分布式卷磁盘空间扩展
条带卷高性能读写
和复制卷的可靠性
二．安装配置GlusterFS群集
1.配置GlusterFS群集
开五台虚拟机，一台客户端
五台虚拟机配置磁盘分区
创建4个目录
[root@centos04 ~]# mkdir /sdb{1…4}
创建四个磁盘分区一个5G
[root@centos04 ~]# fdisk /dev/sdb
格式化五台虚拟机都配一样的
[root@centos04 ~]# mkfs -t xfs /dev/sdb1
复制开机自启第一台配置其余四台复制
[root@centos03 ~]# scp root@192.168.100.20:/etc/fstab /etc/fstab
切换光盘

修改源的位置

把修改的源文件复制给2.3.4.5虚拟机
[root@centos01 ~]# scp /etc/yum.repos.d/local.repo root@192.168.100.20:
/etc/yum.repos.d/
修改hosts文件

把01虚拟机的镜像文件SCP给其余五台
[root@centos01 ~]# scp GluserFS__分布式文件系统.iso root@192.168.100.60:/usr/src/
1）安装程序包1~6都得安装
[root@centos01 ~]# yum -y install glusterfs glusterfs-server glusterfs-fuse glusterfs-rdma

2）启动服务设置1-~6都得设置
[root@centos01 ~]# systemctl start glusterd
[root@centos01 ~]# systemctl enable glusterd
[root@centos01 ~]# systemctl start glusterd.service
[root@centos01 ~]# systemctl enable glusterd.service
3）配置glusterfs群集
[root@centos06 ~]# gluster peer probe centos02
[root@centos06 ~]# gluster peer probe centos03
[root@centos06 ~]# gluster peer probe centos04
[root@centos06 ~]# gluster peer probe centos05
4）查看群集状态
[root@centos06 ~]# gluster peer status

2.配置分布式卷
1）创建分布式卷名字是FB-Volume
[root@centos01 ~]# gluster volume create FB-Volume centos01:/sdb1 centos02:/sdb1 force
2）查看分布式卷
[root@centos01 ~]# gluster volume info FB-Volume

3）启动分布式卷
[root@centos01 ~]# gluster volume start FB-Volume

4）客户端连接分布式卷
[root@centos06 ~]# mkdir /FB_Volume
[root@centos06 ~]# mount -t glusterfs 192.168.100.10:FB-Volume /FB_Volume/

3.创建条带卷
1）条带卷名字TD-Volume
[root@centos01 ~]# gluster volume create TD-Volume stripe 2 centos01:/sdb2
centos02:/sdb2 force
2）启动条带卷
[root@centos01 ~]# gluster volume start TD-Volume
3）客户端连接条带卷
[root@centos06 ~]# mkdir /TD-Volume
[root@centos06 ~]# mount -t glusterfs 192.168.100.10:TD-Volume /TD-Volume/

4.复制卷
1）复制卷名字FZ-Volume
[root@centos01 ~]# gluster volume create FZ-Volume replica 2 centos03:/sdb1
centos04:/sdb1 force
[root@centos01 ~]# gluster volume start FZ-Volume
[root@centos06 ~]# mkdir /FZ-Volume
[root@centos06 ~]# mount -t glusterfs 192.168.100.10:FZ-Volume /FZ-Volume/

5）分布式条带卷
1）指定分布式条带卷名字是FBTD-Volume
[root@centos01 ~]# gluster volume create FBTD-Volume stripe 4 centos01:
/sdb3 centos02:/sdb3 centos03:/sdb2 centos04:/sdb2 force
2）启动分布式条带卷
[root@centos01 ~]# gluster volume start FBTD-Volume
[root@centos06 ~]# mkdir /FBTD_Volume
[root@centos06 ~]# mount -t glusterfs 192.168.100.10:/FBTD-Volume /FBTD_Volume/

6）分布式复制卷
1）指定分布式复制卷名字FBFZ-Volume
[root@centos01 ~]# gluster volume create FBFZ-Volume replica 2 transport tcp
centos01:/sdb4 centos02:/sdb4 centos03:/sdb4 centos04:/sdb4 force
2）启动分布式复制
[root@centos01 ~]# gluster volume start FBFZ-Volume

创建文件挂载
[root@centos06 ~]# mkdir /FBFZ_Volume
[root@centos06 ~]# mount -t glusterfs 192.168.100.10:/FBFZ-Volume /FBFZ_Volume/
写一些数据
[root@centos06 ~]# dd if=/dev/zero of=/FB_Volume/1.iso bs=100M count=10
[root@centos06 ~]# dd if=/dev/zero of=/TD-Volume/1.iso bs=100M count=10
[root@centos06 ~]# dd if=/dev/zero of=/FZ-Volume/1.iso bs=100M count=10
[root@centos06 ~]# dd if=/dev/zero of=/FBTD_Volume/1.iso bs=100M count=10
[root@centos06 ~]# dd if=/dev/zero of=/FBFZ-Volume/1.iso bs=100M count=10

7）配置glusterfs开机自动挂载
[root@centos06 ~]# vim /etc/fstab
192.168.100.10:FB-Volume /FB_Volume glusterfs defaults,_netdev 0 0
192.168.100.10:TD-Volume /TD-Volume glusterfs defaults,_netdev 0 0
192.168.100.10:FZ-Volume /FZ-Volume glusterfs defaults,_netdev 0 0
192.168.100.10:FBTD-Volume /FBTD_Volume glusterfs defaults,_netdev 0 0
192.168.100.10:FBFZ-Volume /FBFZ-Volume glusterfs defaults,_netdev 0 0

感谢观看，拜拜ヾ(•ω•`)o啊

GlusterFS分布式文件系统群集相关推荐

十三章——GlusterFS分布式文件系统群集（应用——linux防护与群集）
三期总目录链接目录一.GlusterFS相关知识介绍 (一)简介 1. GlusterFS介绍二.glusterFs实例 (一)准备环境 1.分区 2.node1~node4 安装软件--yum ...
案例部署——GlusterFS分布式文件系统群集
前言:大部分分布式解决方案都是通过元服务器存放目录结构等元数据,元数据服务器提供了整个分布式存储的索引工作.但是一单元数据服务器损坏,整个分布式存储页将无法工作.本次将介绍一款无元服务器的分布式存储解 ...
glusterfs分布式文件系统初探
公司有几台就服务器,正好有个项目对磁盘的容量以及性能有一定的要求,故而寻求分布式文件系统方面的知识,最终采用了glusterfs.以下对部署以及测试过程潦做记录. glusterfs分布式文件系统采用 ...
GlusterFS分布式文件系统
分布式系统要做的任务就是把多台机器有机的组合.连接起来,让其协同完成一件任务,可以是计算任务,也可以是存储任务.如果一定要给近些年的分布式系统研究做一个分类的话,大概可以包括三大部分: 1. 分布式存 ...
glusterfs分布式文件系统详细原理
http://blog.csdn.net/yujin2010good/article/details/75268877 1.Glusterfs简介 GlusterFS是Scale-Out存储解决方案G ...
GlusterFS 分布式文件系统
目录引言一.文件系统简介 1. 组成 2. 作用 3. 文件系统的挂载使用二.GFS 分布式文件系统概述 1. GFS 简介 2. GFS 的特点 3. GFS 专业术语 4. 模块化堆栈式架构 ...
企业级别应用--GFS分布式文件系统（GlusterFS工作原理、弹性 HASH 算法、GlusterFS卷的类型、部署GlusterFS）
文章目录一. GlusterFS 概述 1.1 GlusterFS 简介与传统分布式相比的优点 1.2 GlusterFS 的特点扩展性和高性能高可用性全局统一命名空间弹性卷管理基于标准 ...
GFS 分布式文件系统从入门到实践
文章目录一.GlusterFS 概述 1.1 GlusterFS简介 1.2 GlusterFS的特点 (一)扩展性和高性能 (二)高可用性 (三)弹性卷管理 (四)基于标准协议二.Gluster ...
浅识一下GFS分布式文件系统
GFS分布式文件系统什么是GFS分布式文件系统 GFS(GlusterFS) 是一个开源的分布式文件系统. 由存储服务器.客户端以及NFS/Samba 存储网关(可选,根据需要选择使用)组成. 没有 ...

GlusterFS分布式文件系统群集

GlusterFS分布式文件系统群集

GlusterFS分布式文件系统群集相关推荐

最新文章

热门文章