分布式文件存储FastDFS之基础知识篇

一、分布式文件系统

二、FastDFS简介

三、FastDFS整体架构

四、文件上传流程　

五、文件下载流程

六、文件删除流程

七、文件同步机制

八、总结

一、分布式文件系统

分布式文件系统 (Distributed File System) 是一个软件/软件服务器，这个软件可以用来管理文件。但这个软件所管理的文件通常不是在一个服务器节点上，而是在多个服务器节点上，这些服务器节点通过网络相连构成一个庞大的文件存储服务器集群，这些服务器都用于存储文件资源，通过分布式文件系统来管理这些服务器上的文件。

常见的分布式文件系统有：FastDFS、GFS、HDFS、Lustre 、Ceph 、GridFS 、mogileFS、TFS等。

二、FastDFS简介

FastDFS是一个开源的轻量级分布式文件系统，为互联网应用量身定做，简单，灵活，高效，采用C语言开发，由阿里巴巴开发并开源。

FastDFS主要对文件进行管理，功能包括：文件存储、文件同步、文件访问(文件上传、文件下载)等，解决了大容量存储和负载均衡的问题，特别适合以文件为载体的在线服务，如相册网站、视频网站等等。

FastDFS充分考虑了冗余备份、线性扩容等机制，并注重高可用，高性能等指标，使用FastDFS很容易搭建一套高性能的文件服务器集群提供文件上传、下载等服务。

FastDFS的GitHub地址：https://github.com/happyfish100/fastdfs

FastDFS由跟踪服务器（tracker server）、存储服务器（storage server）和客户端（client）三个部分组成，主要解决了海量数据存储问题，特别适合以中小文件（建议范围：4KB < file_size <500MB）为载体的在线服务。

传统的文件存储：

缺点：

1. 所有的文件都存放在一台机器上，如果发生宕机，那么文件服务直接不可用；
2. 如果该服务器磁盘发生损坏，那么可能会出现文件丢失的情况；
3. 一台服务器的容量有限，很容易达到磁盘上限，导致文件不能上传；

分布式文件存储：

优点：

解决了传统方式的单点故障问题；
如果某个节点发生故障，还有其他节点可以用来读取和写入文件；
可以提供数据备份，避免因为磁盘损坏导致的文件丢失；
可以提供扩容机制，无限增加文件存放的空间上限；

三、FastDFS整体架构

FastDFS文件系统由两大部分构成，一个是客户端，一个是服务端。

客户端通常指我们的程序，比如我们的Java程序去连接FastDFS、操作FastDFS，那我们的Java程序就是一个客户端，FastDFS提供专有API访问，目前提供了C、Java和PHP几种编程语言的API，用来访问FastDFS文件系统。

服务端由两个部分构成：一个是跟踪服务器(Tracker server)，一个是存储服务器(Storage server)。客户端请求Tracker server进行文件上传、下载，通过Tracker server调度最终由Storage server完成文件上传和下载。

　　Tracker server作用：负载均衡和调度，通过Tracker server在文件上传时可以根据一些策略找到Storage server提供文件上传服务，Tracker Server负责管理所有的storage server和group，每个storage在启动后会连接 Tracker，告知自己所属 group 等信息，并保持周期性心跳。多个Tracker之间是对等关系，不存在单点故障。
　　Storage server作用：文件存储，客户端上传的文件最终存储在Storage服务器上，Storage server没有实现自己的文件系统而是利用操作系统的文件系统来管理文件。Storage Server可以分为多个group组( 卷1、卷2、卷n )，每个组之间保存的文件是不同的。每个组内部可以有多个成员，组成员内部保存的内容是一样的，组成员的地位是一致的，没有主从的概念。

一个完整的集群版FastDFS架构组成大体如下图：

四、文件上传流程　

大体流程图如下所示：

1、定时向TrackerServer发送状态信息，保持周期性心跳；
2、客户端发起上传文件请求；
3、Tracker Server查询当前可用的Storage Server；
4、返回一个Storage Server所在的服务器的IP地址和端口号；
5、Client客户端根据IP和端口号找到对应的Storage Server进行上传；
6、保存客户端上传的文件信息，返回group组名和远程文件路径信息；
7、Storage Server返回file_id给客户端；
8、客户端将文件file_id保存到数据库中；

五、文件下载流程

大体流程图如下所示：

1、定时向TrackerServer发送状态信息，保持周期性心跳；
2、客户端发起下载文件请求；
3、Tracker Server查询当前可用的Storage Server；
4、返回一个Storage Server所在的服务器的IP地址和端口号；
5、Client客户端拿着file_id（组名、远程文件路径、文件名）去目标Storage Server中请求查找文件；
6、Storage Server查找文件信息；
7、Storage Server返回文件信息给客户端；
8、客户端将文件转换为流输出到浏览器进行下载；

六、文件删除流程

大体流程图如下所示：

1、定时向TrackerServer发送状态信息，保持周期性心跳；
2、客户端发起文件删除请求；
3、Tracker Server查询当前可用的Storage Server；
4、返回一个Storage Server所在的服务器的IP地址和端口号；
5、Client客户端拿着file_id（组名、远程文件路径、文件名）去目标Storage Server中请求删除文件；
6、Storage Server根据参数删除对应的文件信息；
7、Storage Server返回是否删除成功信息 0：表示删除成功 2：表示文件不存在其他：文件删除失败；

七、文件同步机制

（1）、同一组内的storage server之间是对等的，文件上传、删除等操作可以在任意一台storage server上进行；

（2）、文件同步只在同组内的storage server之间进行，采用push方式，即源服务器同步给目标服务器；

（3）、源头数据才需要同步，备份数据不需要再次同步，否则就构成环路了；

（4）、上述第二条规则有个例外，就是新增加一台storage server时，由已有的一台storage server将已有的所有数据（包括源头数据和备份数据）同步给该新增服务器。

八、总结

本篇文章主要对现在比较流行的分布式文件存储FastDFS进行了介绍，并分析了FastDFS整体架构以及文件上传、下载、删除的流程。下一篇文章我们总结如何搭建一个FastDFS分布式文件存储环境。