网络文件存储系统(三)fastdfs分布式文件系统实战

引言

FastDFS是由阿里巴巴的码神余庆大佬开发的一个轻量级、高性能的开源分布式文件系统。该系统是由纯c语言开发，它对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务，如相册网站、视频网站等等。

工作原理

概念解释

Client：客户端。使用java语言编写的项目属于客户端。
Tracker Server：跟踪服务器，主要做调度工作，在访问上起负载均衡的作用。在内存中记录集群中group和storage server的状态信息，是连接Client和Storage server的枢纽。
Storage Server：存储服务器，文件和文件属性（meta data）都保存到存储服务器上

上传过程

client询问tracker上传到的storage，不需要附加参数；
tracker返回一台可用的storage；
client直接和storage通讯完成文件上传

下载过程

client询问tracker下载文件的storage，参数为文件标识（卷名和文件名）；
tracker返回一台可用的storage；
client直接和storage通讯完成文件下载。
需要说明的是，client为使用FastDFS服务的调用方，client也应该是一台服务器，它对tracker和storage的调用均为服务器间的调用。

fastdfs依赖安装

下载libfastcommon

wget https://github.com/happyfish100/libfastcommon/archive/V1.0.7.tar.gz

解压安装

tar -xvf V1.0.7.tar.gz`
cd libfastcommon-1.0.7
./make.sh
./make.sh install

创建软连接

ln -s /usr/lib64/libfastcommon.so /usr/local/lib/libfastcommon.so
ln -s /usr/lib64/libfastcommon.so /usr/lib/libfastcommon.so
ln -s /usr/lib64/libfdfsclient.so /usr/local/lib/libfdfsclient.so
ln -s /usr/lib64/libfdfsclient.so /usr/lib/libfdfsclient.so

fastdfs server 安装

下载fastdfs

wget https://github.com/happyfish100/fastdfs/archive/V5.05.tar.gz

解压并安装fastdfs

tar -zxvf fastdfs_v5.05.tar.gz
cd  fastdfs_v5.05/
./make.sh
./make.sh install

配置 Tracker server 服务

上述安装成功后，在/etc/目录下会有一个fdfs的目录，进入它。会看到三个.sample后缀的文件，这是作者给我们的示例文件，我们需要把其中的tracker.conf.sample文件改为tracker.conf配置文件并修改它：

cd /etc/fdfs/
cp tracker.conf.sample tracker.conf
vim tracker.conf

编辑以下内容

# 配置文件是否不生效，false 为生效
disabled=false
# 提供服务的端口
port=22122
# Tracker 数据和日志目录地址
base_path=/home/data/fastdfs
# HTTP 服务端口
http.server_port=8080

创建tracker文件夹

mkdir -p /home/data/fastdfs

一定先要创建，否则后面报错

创建tracker server软连

ln -s /usr/bin/fdfs_trackerd /usr/local/bin
ln -s /usr/bin/stop.sh /usr/local/bin
ln -s /usr/bin/restart.sh /usr/local/bin

启动tracker server

systemctl start fdfs_trackerd
systemctl stop fdfs_trackerd
systemctl restart fdfs_trackerd

查看是否启动tracker server

netstat -unltp|grep fdfs

tracker server目录

tracker server目录及文件结构 Tracker服务启动成功后，会在base_path下创建data、logs两个目录。目录结构如下：

${base_path}|__data|   |__storage_groups.dat：存储分组信息|   |__storage_servers.dat：存储服务器列表|__logs|   |__trackerd.log： tracker server 日志文件

配置 Storage 服务

# cd /etc/fdfs
# cp storage.conf.sample storage.conf
# vim storage.conf

设置storage.conf 文件

# 配置文件是否不生效，false 为生效
disabled=false
# 指定此 storage server 所在 组(卷)
group_name=group1
# storage server 服务端口
port=23000
# 心跳间隔时间，单位为秒 (这里是指主动向 tracker server 发送心跳)
heart_beat_interval=30
# Storage 数据和日志目录地址(根目录必须存在，子目录会自动生成)
base_path=/home/data/fastdfs/storage
# 存放文件时 storage server 支持多个路径。这里配置存放文件的基路径数目，通常只配一个目录。
store_path_count=1
# 逐一配置 store_path_count 个路径，索引号基于 0。
# 如果不配置 store_path0，那它就和 base_path 对应的路径一样。
store_path0=/home/data/fastdfs/storage
# FastDFS 存储文件时，采用了两级目录。这里配置存放文件的目录个数。
# 如果本参数只为 N（如： 256），那么 storage server 在初次运行时，会在 store_path 下自动创建 N * N 个存放文件的子目录。
subdir_count_per_path=256
# tracker_server 的列表 ，会主动连接 tracker_server
# 有多个 tracker server 时，每个 tracker server 写一行 公网访问需要配置公网IP
tracker_server=10.0.12.9:22122
# 允许系统同步的时间段 (默认是全天) 。一般用于避免高峰同步产生一些问题而设定。
sync_start_time=00:00
sync_end_time=23:59

创建storage文件夹

mkdir -p /home/data/fastdfs/storage

创建软连接

ln -s /usr/bin/fdfs_storaged /usr/local/bin

启动fdfs_storaged服务

systemctl start fdfs_storaged
systemctl stop fdfs_storaged
systemctl restart fdfs_storaged

检测storage启动服务情况

netstat -unltp|grep fdfs

值得注意的是base_path文件夹一定要提前建立，如果在同一台机器下安装全部的fastdfs组件，配置的ip不能写127.0.0.1，要写本机eth0的ip。

检查storage和tracker通信

/usr/bin/fdfs_monitor /etc/fdfs/storage.conf

安装fastdfs-nginx-module

tar -zxvf  fastdfs-nginx-module_v1.16.tar.gz
cd  /home/fastdfs/fastdfs-nginx-module/src
vim mod_fastdfs.conf

配置mod_fastdfs.conf

# 连接超时时间
connect_timeout=10
# Tracker Server
tracker_server=10.0.12.9:22122
# StorageServer 默认端口
storage_server_port=23000
# 如果文件ID的uri中包含/group**，则要设置为true
url_have_group_name = true
# Storage 配置的store_path0路径，必须和storage.conf中的一致
store_path0=/home/data/fastdfs/storage

放入etc

cp mod_fastdfs.conf /etc/fdfs/

修改fastdfs-nginx-module配置文件

cd  /home/fastdfs/fastdfs-nginx-module/src
vim config
ngx_module_incs="/usr/include/fastdfs /usr/include/fastcommon/"
CORE_INCS="$CORE_INCS /usr/include/fastdfs /usr/include/fastcommon/"

复制FastDFS的部分配置文件到/etc/fdfs目录

cd  /home/fastdfs/fastdfs_v5.05/conf
cp http.conf /etc/fdfs/
cp mime.types /etc/fdfs/

配置fastdfs客户端

# the base path to store log files
base_path=/home/data/fastdfs# tracker_server can ocur more than once, and tracker_server format is
#  "host:port", host can be hostname or ip address
tracker_server=10.0.12.9:22122

nginx 安装

nginx安装可分为在线安装和离线安装，在线安装可以采用下面的命令

在线安装

# 查看是否已经添加源成功
yum search nginx
# 安装nginx(默认最新的Stable Version)   -y表示安装过程提示选择全部为"yes"
yum install -y nginx
# 安装指定版本，如：1.12.2
yum install nginx-1.12.2

离线安装nginx

离线安装可以参考小猿的nginx 学习笔记之nginx服务器的安装(二)

nginx配置安装

fastdfs需要nginx 作为一个重要的组件

./configure --add-module=../fastdfs-nginx-module/src/

执行安装命令

make && make install

验证nginx

./nginx  -v

nginx 配置

 cd  /usr/local/nginx
vim nginx.conf`

nginx.conf 文件

####  配置文件
#location放在server里面
location ~/group([0-9])/M00 {root /home/data/fastdfs/storage;ngx_fastdfs_module;
}

启动nginx

./nginx

测试上传效果

/usr/bin/fdfs_upload_file  /etc/fdfs/client.conf  my.txt

查看上传效果