如何基于.NET Core构建分布式文件存储系统？

最近被安排开发文件存储微服务，要求是能够通过配置来无缝切换我们公司内部研发的文件存储系统，FastDFS，MongDb GridFS，阿里云OSS，腾讯云OSS等。根据任务紧急度暂时先完成了通过配置来无缝切换内部文件系统以及FastDFS。至于MongDb GridFS，阿里云OSS，腾讯云OSS等则后期需要的话再开发对应的提供者程序即可。

作者：依乐祝
首发公众号：DotNetCore实战
原文链接： https://www.cnblogs.com/yilezhu/p/12797543.html

今天主要是对开发过程，以及对FastDFS这个通用的分布式文件存储服务的单机及集群安装部署过程做个总结。希望对想要自建分布式文件系统的朋友有所帮助。

什么是FastDFS

这里先简单介绍下分布式文件存储系统。
FastDFS 是一个开源的高性能分布式文件系统（DFS）。它的主要功能包括：文件存储，文件同步和文件访问，以及高容量和负载平衡。主要解决了海量数据存储问题，特别适合以中小文件（建议范围：4KB < file_size <500MB）为载体的在线服务。
FastDFS 系统有三个角色：跟踪服务器(Tracker Server)、存储服务器(Storage Server)和客户端(Client)。
　　Tracker Server：跟踪服务器，主要做调度工作，起到均衡的作用；负责管理所有的 storage server和 group，每个 storage 在启动后会连接 Tracker，告知自己所属 group 等信息，并保持周期性心跳。
　　Storage Server：存储服务器，主要提供容量和备份服务；以 group 为单位，每个 group 内可以有多台 storage server，数据互为备份。
　　Client：客户端，上传下载数据的服务器，也就是我们自己的项目所部署在的服务器。

FastDFS开源地址：https://github.com/happyfish100

FastDFS的单机版安装

这里先简单介绍下单机版的安装，跟着做你也可以从0还是搭建一个单机版的FastDFS。集群版也是在单机版基础上安装的。

第一步安装相关工具

如果已经安装和wget可以跳过这一步

yum -y install vim wget unzip

-y：不经过询问直接同意所有操作
vim：linux上面一个比较好用的文本编辑软件
wget：linux上文件下载工具

第二步安装相关依赖

yum install -y gcc-c++ perl

第三步安装libfastcommon

大家可以直接到github上面先找到ibfastcommon。这里为了大家方便查找。我已经把把链接给大家整理好了
libfastcommon
这里大家可以先下载到本地，然后再传至服务器上面。这里我使用的是FinalShell。具体操作就不在这里详细说了。
这里目录为：/root/fastdfs/
下载下来的是zip格式压缩包，然后，我们解压zip

unzip libfastcommon-master.zip

进入到刚刚解压的文件里面

cd libfastcommon-master/

进行编译安装

./make.sh && ./make.sh install

如上图所示表示安装成功！

第四步安装FastDFS

同样这里我用的也是github上面的FastDFS。为此，我已经帮大家把相关的链接整理到下方了
fastdfs
这里可以使用像上面libfastcommon一样的方式，先下载到自己的电脑上面，再上传至服务器。
目录为：/root/fastdfs/
下面我们先进行解压

unzip fastdfs-master.zip

进入上面的解压目录，然后编译安装

./make.sh && ./make.sh install

第五步修改配置文件

切换到配置文件目录下

cd /etc/fdfs/

查看所有配置文件
使用ls命令就行了

去除所有的.sample后缀

cp client.conf.sample client.conf
cp storage.conf.sample storage.conf
cp storage_ids.conf.sample storage_ids.conf
cp tracker.conf.sample tracker.conf

我们再次使用ls命令查看

可以看到我们已经去除了所有的.sample后缀
下一步，创建文件夹，分别创建client，storage，tracker文件夹

mkdir -p /home/software/fastfdfs/data/client
mkdir -p /home/software/fastfdfs/data/storage
mkdir -p /home/software/fastfdfs/data/tracker

client.config配置

下面我们开始配置文件修改，首先修改的是clietn.conf,使用vim编辑器进行文件的编辑

vim client.conf

使用 :set number 显示行数
修改第11行，确定日志文件的存储路径，这里用我们刚刚创建client文件夹路径

base_path = /home/software/fastdfs/data/client

修改第22 行，tracker的地址与端口，根据实际情况进行修改，我的是192.168.1.14。

这里貌似有两个tracker_server,毕竟是单机版部署因此我这里注释了一个
tracker_server = 192.168.1.14:22122

修改号之后记得保存修改！

storage.conf修改

下面我们修改storage.conf。同上是用vim进行修改
首先我们修改下11行的分组设置

group_name = group1

接下来修改49行的基础路径，这里也用上面我们已经创建的路径

base_path = /home/software/fastdfs/data/storage

修改第129行的storage路径。

store_path0 = /home/software/fastdfs/data/storage
注意：这里提示下：存储路径的顺序很重要，不要弄乱了，
基础路径应该独立于存储路径，即尽量让这两个路径不一样。这里我设置了一样

修改第145行，配置tracker的IP地址与端口。至于如何填写这个地址，上面配置client.conf的时候，我们就已经说过了。

tracker_server = 192.168.1.14:22122

tracker.conf 配置

现在修改tracker.conf文件
修改第23行，修改tracker的基础路径。这个路径的文件夹我们刚刚在上面已经创建过了

base_path = /home/software/fastdfs/data/tracker

修改第57行归属组设置

store_group = group1

第六步启动tracker 与storage

启动tracker

fdfs_trackerd /etc/fdfs/tracker.conf start

启动storage

fdfs_storaged /etc/fdfs/storage.conf start

测试是否启动成功，我们尝试上传文件。我的root文件夹下有一张图片

fdfs_test /etc/fdfs/client.conf upload /root/fastdfs/test.jpeg

如上图所示表示上传成功。

第七步安装nginx访问图片

这里由于服务器已经安装了nginx，因此需要在现有的nginx的版本基础上安装新的fastdfs的模块。，安装方法可能略有不同
首先查看下nginx的版本

nginx -V

这里需要注意一下，如果你服务器上没有安装过nginx则需要先安装nginx的依赖，然后再进行安装

yum -y install gcc-c++ zlib-devel pcre-devel

如下图所示：

因此我们需要下载对应版本的源码

wget http://nginx.org/download/nginx-1.16.1.tar.gz

解压安装包

tar zxvf nginx-1.14.0.tar.gz

下载nginx的fastdfs模块，这里我已经帮大家把这个项目github地址整理好了。
astdfs-nginx-module
这这里我们可以先下载到自己电脑上，再上传服务器。
进行解压

unzip fastdfs-nginx-module-master.zip

这里由于我们已经安装了nginx，因此需要备份之前的nginx防止出现问题进行还原

mv /usr/sbin/nginx /usr/sbin/nginx.back
cp -rf /etc/nginx/ /etc/nginx.back

切换到nginx压缩包的解压目录里面去

cd nginx-1.16.1

进行配置检测并且添加模块

./configure --prefix=/etc/nginx/ --sbin-path=/usr/sbin/nginx --add-module=/root/fastdfs/fastdfs-nginx-module-master/src/

--prefix : nginx的安装目录
--add-module：解压后模块所在目录，记得要加上src

执行如下命令进行nginx的重新编译,如果之前已经安装了nginx则不能执行install，否则会覆盖之前的配置文件,也可以在安装后再把之前的配置覆盖过来。

make && make install

拷贝编译后的nginx到原来的安装目录

cp objs/nginx /usr/sbin/nginx

重启nginx

systemctl restart nginx
//第二种方式
nginx -s reload//第一次安装,直接输入nginx
nginx

切换至fastdfs的解压包里面去

cd /root/fastfdfs/fastdfs-master

进行文件的复制

cp conf/http.conf /etc/fdfs/
cp conf/mime.types /etc/fdfs/

切换至fastdfs-nginx-module的解压目录下面

cd /root/fastdfs/fastdfs-nginx-module-master

进行配置文件的复制

cp src/mod_fastdfs.conf /etc/fdfs/

mod_fastdfs.conf配置

修改/etc/fdfs下面的mod_fastdfs.conf配置文件

vim /etc/fdfs/mod_fastdfs.conf

修改 40行，更改tracker的ip地址与端口

tracker_server=192.168.1.14:22122

修改48行的group_name

修改53行 url地址中是否包含组名，如果链接中包含group则需要设置为true

url_have_group_name = true

修改62行 storage所在目录

store_path0=/home/software/fastdfs/data/storage

保存修改。

nginx修改

这里注意，每个笨的配置文件存储的方式不同，此步骤可能有所不同。
进行nginx配置文件的修改，我们可以切换到nginx的安装目录下面。也可以直接输入如下命令

注意：这里我的nginx版本为1.16.1，配置文件为conf.d下面的所有的*.conf文件。因此我的输入命令如下：

vim /etc/nginx/conf.d/default.conf

进行nginx.conf的修改，如下图所示：

server {listen       8888;server_name  192.168.1.93;location ~/group([0-9])/M00 {#root   html;#index  index.html index.htm;root    /home/software/fastdfs/data/storage/data;ngx_fastdfs_module;}}

多个group的配置

当配置多个组，且mod_fastdfs.conf 里面指定了url_have_group_name= true 时，配置方式:

location ~  /group([0-9]) /M00 {root /home/software/fastdfs/data/storage/data;ngx_fastdfs_module;
}

比如:在group1上的 nginx 的nginx.conf 配置是

location  /group1/M00 {root /home/software/fastdfs/data/storage/data;ngx_fastdfs_module;
}

比如:在group2上的 nginx 的nginx.conf 配置是

location   /group2/M00 {root /home/software/fastdfs/data/storage/data;ngx_fastdfs_module;
}

查看nginx的配置文件是否有效

nginx -t

显示 is ok没有任何问题，现在启动nginx。这里我配置为开机自动启动

systemctl restart nginx
// 第二种方式
nginx -s reload

依照上面的方式，我们重新上传一张图片。并进行访问
测试是否启动成功，我们尝试上传文件。我的root文件夹下有一张图片

fdfs_test /etc/fdfs/client.conf upload /root/fastdfs/test.jpeg

上传成功，访问下面的地址

路径说明

group1：表示这张图片被保存在了哪个组当中，
M00：代表磁盘目录，如果电脑只有一个磁盘那就只有M00，如果有多个磁盘，那就M01、M02...等等。
00/00：代表磁盘上的两级目录，每级目录下是从00到FF共256个文件夹，两级就是256*256个。
wKgBE1r-fICAcd3kAAHY-4ojheI481.jpeg表示被存储到storage上的test.jpeg被重命名的名字，这样做的目的是为了防止图片名字重复。
我们到单机版的数据目录下查看一下是否有我们刚才上传的图片，发现是有的返回的图片信息中明确说明了存储在了group1下面。

FastDFS集群版的安装

这里集群版的安装是在单机版的基础上安装的。

机器准备

IP	作用	模块
192.168.1.14	storage(group1) tracker1	fastdfs+nginx+fastdfs-nginx-module
192.168.1.15	storage(group1)	fastdfs+nginx+fastdfs-nginx-module
192.168.1.16	storage(group2) tracker2	fastdfs+nginx+fastdfs-nginx-module
192.168.1.93	storage(group2)	fastdfs+nginx+fastdfs-nginx-module
192.168.1.197	VIP（对外提供服务）	nginx

安装步骤

软件准备

在所有服务器上创建如下目录用来存储需要安装的软件包

mkdir -p ~/fastdfs/

在tracker1上下载所需要的软件安装包，并放在如下目录下

~/fastdfs/

查看如下所示：

进入对应的文件夹并拷贝对应的文件到其他几台服务器上：

scp ./* root@192.168.1.15:~/fastdfs/
scp ./* root@192.168.1.16:~/fastdfs/
scp ./* root@192.168.1.93:~/fastdfs/
scp ./* root@192.168.1.197:~/fastdfs/

在storage服务器及tracker服务器都创建如下的文件夹，用来存放fastdfs的数据及日志文件

mkdir -p /home/software/fastfdfs/client
mkdir -p /home/software/fastfdfs/storage
mkdir -p /home/software/fastfdfs/tracker

在所有服务器上执行·如下命令安装相关工具

yum -y install vim wget unzip

在所有sotrage及tracker服务器上执行如下命令安装相关依赖

yum install -y gcc-c++ perl

安装

这些操作需要在所有storage及tracker服务器上都进行操作

storage及tracker服务器安装libfastcommon

在需要安装fastdfs的storage及tracker服务器上安装libfastcommon
这里我们进入安装文件目录~/fastdfs/，执行如下命令，解压并编译安装：

unzip libfastcommon-master.zip
cd libfastcommon-master/
./make.sh && ./make.sh install

出现如下图所示则表示安装成功

storage及tracker服务器安装fastdfs

在需要安装fastdfs的storage及tracker服务器上安装fastdfs
这里我们进入安装文件目录~/fastdfs/，执行如下命令，解压并编译安装：

unzip fastdfs-master.zip
cd fastdfs-master/
./make.sh && ./make.sh install
cp conf/http.conf /etc/fdfs/
cp conf/mime.types /etc/fdfs/

进行文件的复制

cp conf/http.conf /etc/fdfs/
cp conf/mime.types /etc/fdfs/

修改配置文件

切换到配置文件目录，并执行如下命令去除所有的.sample后缀：

cd /etc/fdfs/
cp client.conf.sample client.conf
cp storage.conf.sample storage.conf
cp storage_ids.conf.sample storage_ids.conf
cp tracker.conf.sample tracker.conf

修改client.config配置

需要测试的时候才需要配置此client.conf配置

vim client.conf

修改内容如下：

11 base_path = /home/software/fastdfs/client
22 tracker_server = 192.168.1.14:22122

vim修改storage.conf
修改内容如下：

11  group_name = group1
49  base_path = /home/software/fastdfs/storage
129 /home/software/fastdfs/data/storage
145 tracker_server = 192.168.1.14:22122

vim修改tracker.conf配置

这里只有tracker服务器才需要配置此配置及 14跟16

修改内容如下：

23   base_path = /home/software/fastdfs/tracker
57   store_group = group1

安装nginx

只有sotrage服务器及vip服务器需要安装nginx用来提供文件的访问
在安装nginx前需要安装相关的依赖并下载对应的源码，执行如下命令。此文件也保存到文件安装目录

yum -y install gcc-c++ zlib-devel pcre-devel
wget http://nginx.org/download/nginx-1.16.1.tar.gz
tar zxvf nginx-1.14.0.tar.gz

解压nginx的fastdfs模块,并进入到文件夹下进行配置文件的复制

nginx的fastdfs模块在所有storage服务器上进行安装

unzip fastdfs-nginx-module-master.zip
cd ~/fastdfs/fastdfs-nginx-module-master
cp src/mod_fastdfs.conf /etc/fdfs/

进入到nginx源码目录，进行配置检测并添加对应的fastdfs模块。然后进行nginx的安装

./configure --prefix=/etc/nginx/ --sbin-path=/usr/sbin/nginx --add-module=/root/fastdfs/fastdfs-nginx-module-master/src/
make && make install
#如有需要可以拷贝nginx到sbin目录
cp objs/nginx /usr/sbin/nginx

mod_fastdfs.conf配置

vim修改/etc/fdfs下面的mod_fastdfs.conf配置文件

40   tracker_server=192.168.1.14:22122
48   group_name=group1
53   url_have_group_name = true
62   store_path0=/home/software/fastdfs/storage

nginx配置修改

只有sotrage服务器及vip服务器需要安装，
group1的服务器需要新增如下server配置，root路径为storage的data路径

server {listen       8888;server_name  192.168.1.93;location /group1/M00 {#root   html;#index  index.html index.htm;root    /home/software/fastdfs/storage/data;ngx_fastdfs_module;}}

group2的服务器上新增如下server配置，root路径为storage的data路径

server {listen       8888;server_name  192.168.1.93;location /group2/M00 {#root   html;#index  index.html index.htm;root    /home/software/fastdfs/storage/data;ngx_fastdfs_module;}}

vip服务器的nginx配置如下：

#设置 group1 的服务器
upstream fdfs_group1 {server 192.168.1.14:8888 weight=1 max_fails=2 fail_timeout=30s;server 192.168.1.15:8888 weight=1 max_fails=2 fail_timeout=30s;
}#设置 group2 的服务器
upstream fdfs_group2 {server 192.168.1.16:8888 weight=1 max_fails=2 fail_timeout=30s;server 192.168.1.93:8888 weight=1 max_fails=2 fail_timeout=30s;
}server {listen       80;server_name  192.168.1.197;#charset koi8-r;#access_log  /var/log/nginx/host.access.log  main;#设置默认路径location / {root   html;index  index.html index.htm;}#设置 group 的负载均衡参数location /group1/M00 {proxy_set_header Host $host;proxy_set_header X-Real-IP $remote_addr;proxy_pass http://fdfs_group1;}location /group2/M00 {proxy_set_header Host $host;proxy_set_header X-Real-IP $remote_addr;proxy_pass http://fdfs_group2;}
}

查看nginx的配置文件是否有效

nginx -t

显示 is ok没有任何问题，现在启动nginx。这里我配置为开机自动启动

# 服务形式的nginx重启方式
systemctl restart nginx
//第二种方式
nginx -s reload//第一次安装,直接输入nginx
nginx

依照上面的方式，我们重新上传一张图片。并进行访问
测试是否启动成功，我们尝试上传文件。我的root文件夹下有一张图片

fdfs_test /etc/fdfs/client.conf upload /root/fastdfs/test.jpeg

上传成功，访问下面的地址

asp.net core操作FastDFS

这里的微服务是基于abp vnext的。只是在应用层进行相关的服务开发。这里需要说明下，这里我是使用工厂模式，根据配置来创建对应的文件操作提供者，进而对对应的文件服务器上的文件进行操作的。这里我只摘录FastDFS相关的代码供大家参考。

第一步安装对应的nuget包

这里我用的是更新时间相对比较近下载量相对比较多的作者的nuget包，

Install-Package FastDFSNetCore -Version 1.2.5

第二步，编写一个FastDFSProvider

具体的代码如下所示：

/// <summary>/// 功能介绍:FastDFS提供者/// 作者:lzhu/// 创建日期:2020/4/23 19:54:35/// </summary>
public class FastDFSProvider : IStorageProvider, ITransientDependency{/// <summary>/// 提供程序名称/// </summary>public string ProviderName => "FastDFS";//配置private readonly FastDFSConfig _fastDFSConfig;/// <summary>/// 构造函数/// </summary>/// <param name="fastDFSConfig">注入配置数据</param>public FastDFSProvider(FastDFSConfig fastDFSConfig){_fastDFSConfig = fastDFSConfig ?? throw new ArgumentNullException(nameof(fastDFSConfig));string[] trackers = fastDFSConfig.Trackers.Split(',', StringSplitOptions.RemoveEmptyEntries);var trackerIPs = new List<IPEndPoint>();foreach (var onetracker in trackers){trackerIPs.Add(new IPEndPoint(IPAddress.Parse(onetracker), fastDFSConfig.Port));}ConnectionManager.Initialize(trackerIPs);}/// <summary>/// 通过文件名删除对应的文件/// </summary>/// <param name="objectName">对象名称</param>/// <param name="groupName">分组名称</param>/// <returns>是否成功</returns>public async Task<bool> DeleteObjectByNameAsync(string objectName, string groupName = ""){RestoreFileName(objectName, out string fileName, out groupName);await FastDFSClient.RemoveFileAsync(groupName, fileName);return true;}/// <summary>/// 获取网关连接/// </summary>/// <returns>网关连接</returns>public Task<string> GetGateWayUrl() => Task.FromResult(_fastDFSConfig.GateWayUrl);/// <summary>/// 获取对象二进制数组/// </summary>/// <param name="groupName">组名称</param>/// <param name="objectName">对象名称</param>/// <returns>对象的二进制数组</returns>public async Task<byte[]> GetObjectByteAsync(string objectName, string groupName = ""){RestoreFileName(objectName, out string fileName, out groupName);var storageNode = await GetStorageNodeAsync(groupName);return await FastDFSClient.DownloadFileAsync(storageNode, fileName);}/// <summary>/// 获取对象流/// </summary>/// <param name="groupName">组名称</param>/// <param name="objectName">对象名称</param>/// <returns>对象流</returns>public async Task<Stream> GetObjectStreamAsync(string objectName, string groupName = ""){RestoreFileName(objectName, out string fileName, out groupName);var storageNode = await GetStorageNodeAsync(groupName);FDFSFileInfo fileInfo = await FastDFSClient.GetFileInfoAsync(storageNode, fileName);Stream stream = new MemoryStream();int limit = 1024 * 100;//每次获取100KB的数据//如果文件大小大于100KB  分次写入if (fileInfo.FileSize >= limit){long offset = 0;long len = limit;while (len > 0){byte[] buffer = await FastDFSClient.DownloadFileAsync(storageNode, fileName, offset, len);stream.Write(buffer, 0, int.Parse(len.ToString()));stream.Flush();offset += len;len = (fileInfo.FileSize - offset) >= limit ? limit : (fileInfo.FileSize - offset);}}else{//如果文件大小小小于100KB  直接写入文件byte[] buffer = await FastDFSClient.DownloadFileAsync(storageNode, fileName);stream.Write(buffer, 0, buffer.Length);stream.Flush();}stream.Seek(0, SeekOrigin.Begin);return stream;}/// <summary>/// 存储文件/// </summary>/// <param name="objectByte">对象</param>/// <param name="objectName">对象名</param>/// <param name="groupName">分组</param>/// <returns></returns>public async Task<string> StoreObjectByteAsync(byte[] objectByte, string objectName, string groupName = ""){var storageNode = await GetStorageNodeAsync("");var filePath = await FastDFSClient.UploadFileAsync(storageNode, objectByte, Path.GetExtension(objectName));return storageNode.GroupName + "/" + filePath;}/// <summary>/// 存储文件/// </summary>/// <param name="objectStream">文件流</param>/// <param name="objectName">对象名</param>/// <param name="groupName">分组</param>/// <returns>文件路径</returns>public async Task<string> StoreObjectStreamAsync(Stream objectStream, string objectName, string groupName = ""){var storageNode = await GetStorageNodeAsync("");var filePath = await FastDFSClient.UploadFileAsync(storageNode, objectStream, Path.GetExtension(objectName));return storageNode.GroupName + "/" + filePath;}}

第三步在分布式配置中心中进行配置

这里的分布式配置中心中进行FastDFS的配置如下：

"ObjectStorage": {"StoreType": "FastDFS","FastDFS": {"Trackers": "192.168.1.14,192.168.1.16","Port": 22122,"GateWayUrl": "http://192.168.1.197"}}

第四步文件提供者工厂方法中加入FastDFS的处理

工厂方法根据上面配置中的StoreType从而知道对应的存储是往FastDFS集群进行存储的，进而再加载对应的FastDFS的配置，然后创建上面的FastDFSProvider。
主要代码摘录如下：

case "RondsDFS":{var rondsDFSSection = _configuration.GetSection("ObjectStorage:RondsDFS");if (rondsDFSSection == null)throw new ArgumentNullException("RondsDFS is not configured![OObjectStorage:RondsDFS]");StorageProvider = _serviceProvider.GetRequiredService<RondsDFSProvider>();break;}

总结

今天首先给大家讲解了如何搭建FastDFS单机版及集群版，然后讲解了如何通过asp.net core对FastDFS进行操作。当然由于我的文件系统对应多个文件存储程序，因此这里只是把FastDFS作为其中一个提供者进行处理。大伙可以只参考其中的操作方法即可。本来想录个视频的，毕竟安装过程稍显复杂，奈何机器不允许，Pass了！有问题可以加QQ两千人群637326624进行交流。

参考文章

https://zhuanlan.zhihu.com/p/80256918
https://blog.51cto.com/13712476/2130525
https://www.cnblogs.com/youzhibing/p/9187765.html
https://github.com/happyfish100/fastdfs/wiki