分布式文件系统之GPFS

GPFS是IBM公司通过完善和发展其Tiger Shark文件系统发展而来。GPFS通过共享磁盘结构来实现其强大的扩展性。一个GPFS系统由许多集群节点组成，GPFS文件系统和应用程序在上面运行。这些节点通过交互网络架构（Switch Fabric)网络连接磁盘。所有节点对所有磁盘拥有相同的访问权。文件被分割存储在文件系统中所有的磁盘上。这种条带化的存储不仅能够保证各个磁盘负载均衡，还能够使系统获得最高的吞吐量。

GPFS文件系统架构图如下：

将文件系统节点和共享磁盘连接起来的交互网络架构（Switch Fabric)可能包含SAN网络，例如FC和iSCSI。另外，个人本地磁盘也可以挂载到一些I/O节点，文件系统节点通过一个运行在通信网络上的软件层来对这些磁盘进行访问，例如IBM的VSD(virtual share disk)，其运行在SP网络上，就是这样的一个软件层。

来自多个节点的对磁盘进行的读和写需要进行同步，否则用户数据和元数据将会崩溃。GPFS采用分布式锁机制来同步对磁盘的访问。为了实现系统的高吞吐量，大文件需要进行分块，GPFS没有依赖额外逻辑卷管理层（logical volume manager (LVM) layer）来实现分块，而是自己实现了分块机制。通过实现分块机制，GPFS获得了对容错和负载均衡的控制。（一些LVM也有类似的功能，但是他们不可能获得网络的拓扑）。

GPFS采用256KB（也可以是16KB-1MB）的大数据块作为磁盘块大小。当某个单线程的应用程序需要读一个文件时，GPFS采用prefetch机制预先将文件读到本地IO，后端采用并行IO的方式，最大限度的发挥带宽和磁盘的优势将文件提取到本地。同样，不再需要的脏数据缓存也采用并行IO的方式写到磁盘。GPFS能够识别顺序，反序等读写模式，对于不常见的读写模式，GPFS提供接口传递prefetch命令给文件系统。

GPFS也是一种日志文件系统，为不同节点建立各自独立的日志。日志中记录MetaData的分布，一旦节点发生故障，可以保证快速恢复数据。GPFS 通过一套复杂的信令管理机制提供数据一致性，通过这套机制允许任意节点通过各自独立的路径到达同一个文件。即使节点无法正常工作， GPFS 也可以找到其它的路径。GPFS在数据保护方面采用数据复制的方式进行，GPFS实现了一个较为简单的软件RAID模式，支持数据块级别的文件复制。

参考：

1.http://www.it165.net/admin/html/201307/1485.html

2.GPFS: A Shared-Disk File System for Large Computing Clusters

分布式文件系统之GPFS相关推荐

主流分布式文件系统对比：区块链分布式技术引发云存储革命？HDFS,GFS,GPFS,FusionStorage,IPFS
https://blog.csdn.net/weixin_45494421/article/details/98760782 概要:常见的分布式文件系统有GFS.HDFS等,也有新兴的基于区块链IPF ...
云存储及其分布式文件系统
转自: https://www.cnblogs.com/langren1992/p/5432517.html 随着信息化程度的不断提高,全球数据日益膨胀.面对当前PB级的海量数据存储需求,传统的存储系 ...
译文 Ceph：一个可扩展，高性能分布式文件系统
译者注:本文是出于作者对于ceph的兴趣,在开源中国上关注ceph翻译,没有看到ceph论文的相关翻译, 索性在阅读过程中把它翻译了出来,花费了几个周末时间,翻译过程中收获颇多,现把译文分享出来,如对 ...
分布式文件系统的未来
几点说明:初稿发表在2016年6月,时过境迁,期间发生了很多变化,也产生了很多新的事物,原文观点经过时间验证,有许多不对之处.最新于2022年2月重新审视和检查,对当年的论断也做个反思和检查. 对于目 ...
【分析】Ceph：一个可扩展，高性能分布式文件系统
译者注:本文是出于作者对于ceph的兴趣,在开源中国上关注ceph翻译,没有看到ceph论文的相关翻译,索性在阅读过程中把它翻译了出来,花费了几个周末时间,翻译过程中收获颇多,现把译文分享出来,如对您 ...
Ceph论文译文--Ceph：一个可扩展，高性能分布式文件系统 (转载)
Ceph论文译文--Ceph:一个可扩展,高性能分布式文件系统分类: Storage 2014-09-23 11:56 1146人阅读评论(0) 收藏举报 Ceph 目录(?)[+] Ceph一 ...
2021年大数据Hadoop（七）：HDFS分布式文件系统简介
2021大数据领域优质创作博客,带你从入门到精通,该博客每天更新,逐渐完善大数据各个知识体系的文章,帮助大家更高效学习. 有对大数据感兴趣的可以关注微信公众号:三帮大数据目录 HDFS分布式文件系统 ...
分布式文件系统（FastDFS）安装配置
[TOC] 百度百科: FastDFS是一个开源的轻量级分布式文件系统,它对文件进行管理,功能包括:文件存储.文件同步.文件访问(文件上传.文件下载)等,解决了大容量存储和负载均衡的问题.特别适合以文 ...
高可用集群之分布式文件系统
一.分布式文件系统和单机文件系统的区别: 单机文件系统的分区只能被一台主机所挂载,不能同时被多台主机挂载使用,因为单机文件系统是通过系统内核层的锁机制来完成的,所以一个系统上可以有多个进程访问,但只能 ...

分布式文件系统之GPFS

分布式文件系统之GPFS相关推荐

最新文章

热门文章