FastDFS单机部署安装
2024-04-16 22:48:34
FastDFS单机部署安装
文章目录
- FastDFS单机部署安装
- 前言
- 1：服务器规划
- 2：安装包
- 3：所有tracker和storage节点都执行如下操作
- 3.1：安装所需的依赖包
- 3.2：安装libfatscommon
- 3.3：安装FastDFS
- 4：配置tracker服务器
- 4.1：复制tracker样例配置文件，并重命名
- 4.2：修改tracker配置文件
- 4.3：创建base_path指定的目录
- 4.4：防火墙中打开tracker服务器端口（ 默认为 22122）
- 4.5：启动tracker服务器
- 5：配置storage服务器
- 5.1：复制storage样例配置文件，并重命名
- 5.2：编辑storage配置文件
- 5.3：创建基础数据目录
- 5.4：防火墙中打开storage服务器端口（ 默认为 23000）
- 5.5：启动storage服务器
- 6：文件上传测试
- 6.1：修改Tracker服务器客户端配置文件
- 6.2：执行文件上传命令
- 7：在所有storage节点安装fastdfs-nginx-module
- 7.1：fastdfs-nginx-module 作用说明
- 7.2：解压 fastdfs-nginx-module_v1.16.tar.gz
- 7.3：修改 fastdfs-nginx-module 的 config 配置文件
- 7.4：安装Nginx
- 7.5：安装编译 Nginx 所需的依赖包
- 7.6：编译安装 Nginx (添加 fastdfs-nginx-module 模块)
- 7.7：复制 fastdfs-nginx-module 源码中的配置文件到/etc/fdfs 目录,并修改
- 7.8：修改以下配置
- 7.9：复制 FastDFS 的部分配置文件到/etc/fdfs 目录
- 7.10：在/fastdfs/storage 文件存储目录下创建软连接,将其链接到实际存放数据的目录
- 7.11：配置 Nginx
- 7.12：防火墙中打开 Nginx 的 8888 端口
- 8：验证：通过浏览器访问测试时上传的文件
- 总结
前言
1. FastDFS是一个开源的分布式文件系统，她对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务，如相册网站、视频网站等等。 2. FastDFS服务端有两个角色：跟踪器（tracker）和存储节点（storage）。跟踪器主要做调度工作，在访问上起负载均衡的作用。
FastDFS 是一个开源的高性能分布式文件系统（DFS）。 它的主要功能包括：文件存储，文件同步和文件访问，以及高容量和负载平衡。主要解决了海量数据存储问题，特别适合以中小文件（建议范围：4KB < file_size <500MB）为载体的在线服务。=
FastDFS 系统有三个角色：跟踪服务器(Tracker Server)、存储服务器(Storage Server)和客户端(Client)。Tracker Server：跟踪服务器，主要做调度工作，起到均衡的作用；负责管理所有的 storage server和 group，每个 storage 在启动后会连接 Tracker，告知自己所属 group 等信息，并保持周期性心跳。
Storage Server：存储服务器，主要提供容量和备份服务；以 group 为单位，每个 group 内可以有多台 storage server，数据互为备份。
Client：客户端，上传下载数据的服务器，也就是我们自己的项目所部署在的服务器。
1：服务器规划
跟踪服务器（Tracker Server）：ip01
存储服务器（Storage Server）：ip02
操作系统：CentOS7
用户：root
数据存储目录：
/fastdfs/tracker
/fastdfs/storage
2：安装包
1.FastDFS_v5.08.tar.gz：FastDFS源码
2.libfastcommon-master.zip：（从 FastDFS 和 FastDHT 中提取出来的公共 C 函数库）
3.fastdfs-nginx-module-master.zip：storage节点http服务nginx模块
4.nginx-1.10.0.tar.gz：Nginx安装包
5.ngx_cache_purge-2.3.tar.gz：图片缓存清除Nginx模块（集群环境会用到）链接：https://pan.baidu.com/s/1Se2lNGoIL5zUoPbTjHTlMw
提取码：y2at 下载完成后，将压缩包解压到/usr/local/src目录下
3：所有tracker和storage节点都执行如下操作
3.1：安装所需的依赖包
yum install make cmake gcc gcc-c++
3.2：安装libfatscommon
cd /usr/local/src
#安装unzip 命令： yum install -y unzip zip
unzip libfastcommon-master.zip
cd libfastcommon-master
## 编译、安装
./make.sh
./make.sh install
3.3：安装FastDFS
cd /usr/local/src
tar -xzvf FastDFS_v5.08.tar.gz
cd FastDFS
./make.sh
./make.sh install
采用默认安装方式，相应的文件与目录检查如下：
1> 服务脚本：
/etc/init.d/fdfs_storaged
/etc/init.d/fdfs_trackerd
2> 配置文件（示例配置文件）：ll /etc/fdfs/
-rw-r--r-- 1 root root 1461 1月 4 14:34 client.conf.sample
-rw-r--r-- 1 root root 7927 1月 4 14:34 storage.conf.sample
-rw-r--r-- 1 root root 7200 1月 4 14:34 tracker.conf.sample
3> 命令行工具（/usr/bin目录下）
-rwxr-xr-x 1 root root 260584 1月 4 14:34 fdfs_appender_test
-rwxr-xr-x 1 root root 260281 1月 4 14:34 fdfs_appender_test1
-rwxr-xr-x 1 root root 250625 1月 4 14:34 fdfs_append_file
-rwxr-xr-x 1 root root 250045 1月 4 14:34 fdfs_crc32
-rwxr-xr-x 1 root root 250708 1月 4 14:34 fdfs_delete_file
-rwxr-xr-x 1 root root 251515 1月 4 14:34 fdfs_download_file
-rwxr-xr-x 1 root root 251273 1月 4 14:34 fdfs_file_info
-rwxr-xr-x 1 root root 266401 1月 4 14:34 fdfs_monitor
-rwxr-xr-x 1 root root 873233 1月 4 14:34 fdfs_storaged
-rwxr-xr-x 1 root root 266952 1月 4 14:34 fdfs_test
-rwxr-xr-x 1 root root 266153 1月 4 14:34 fdfs_test1
-rwxr-xr-x 1 root root 371336 1月 4 14:34 fdfs_trackerd
-rwxr-xr-x 1 root root 251651 1月 4 14:34 fdfs_upload_appender
-rwxr-xr-x 1 root root 252781 1月 4 14:34 fdfs_upload_file
4：配置tracker服务器
4.1：复制tracker样例配置文件，并重命名
cp /etc/fdfs/tracker.conf.sample /etc/fdfs/tracker.conf
4.2：修改tracker配置文件
vim /etc/fdfs/tracker.conf
# 修改的内容如下：
disabled=false # 启用配置文件
port=22122 # tracker服务器端口（默认22122）
base_path=/fastdfs/tracker # 存储日志和数据的根目录
4.3：创建base_path指定的目录
mkdir -p /fastdfs/tracker
4.4：防火墙中打开tracker服务器端口（ 默认为 22122）
vi /etc/sysconfig/iptables
附加：若/etc/sysconfig 目录下没有iptables文件可随便写一条iptables命令配置个防火墙规则：如：iptables -P OUTPUT ACCEPT
然后用命令：service iptables save 进行保存，默认就保存到 /etc/sysconfig/iptables 文件里。这时既有了这个文件。防火墙也可以启动了。接下来要写策略，也可以直接写在/etc/sysconfig/iptables 里了。
添加如下端口行： -A INPUT -m state --state NEW -m tcp -p tcp --dport 22122 -j ACCEPT
重启防火墙：service iptables restart
4.5：启动tracker服务器
/etc/init.d/fdfs_trackerd start
初次启动，会在/fastdfs/tracker目录下生成logs、data两个目录。
drwxr-xr-x 2 root root 4096 1月 4 15:00 data
drwxr-xr-x 2 root root 4096 1月 4 14:38 logs
检查FastDFS Tracker Server是否启动成功：
ps -ef | grep fdfs_trackerd
5：配置storage服务器
5.1：复制storage样例配置文件，并重命名
cp /etc/fdfs/storage.conf.sample /etc/fdfs/storage.conf
5.2：编辑storage配置文件
vi /etc/fdfs/storage.conf# 修改的内容如下:
disabled=false # 启用配置文件
port=23000 # storage服务端口
base_path=/fastdfs/storage # 数据和日志文件存储根目录
store_path0=/fastdfs/storage # 第一个存储目录
tracker_server=ip01:22122 # tracker服务器IP和端口
http.server_port=8888 # http访问文件的端口
5.3：创建基础数据目录
mkdir -p /fastdfs/storage
5.4：防火墙中打开storage服务器端口（ 默认为 23000）
vi /etc/sysconfig/iptables#添加如下端口行：
-A INPUT -m state --state NEW -m tcp -p tcp --dport 23000 -j ACCEPT
重启防火墙service iptables restart
5.5：启动storage服务器
/etc/init.d/fdfs_storaged start
初次启动，会在/fastdfs/storage目录下生成logs、data两个目录。
drwxr-xr-x 259 root root 4096 Mar 31 06:22 data
drwxr-xr-x 2 root root 4096 Mar 31 06:22 logs检查FastDFS Tracker Server是否启动成功：
[root@gyl-test-t9 ~]# ps -ef | grep fdfs_storaged
root 1336 1 3 06:22 ? 00:00:01 /usr/bin/fdfs_storaged /etc/fdfs/storage.conf
root 1347 369 0 06:23 pts/0 00:00:00 grep fdfs_storaged
6：文件上传测试
6.1：修改Tracker服务器客户端配置文件
cp /etc/fdfs/client.conf.sample /etc/fdfs/client.conf
vim /etc/fdfs/client.conf
# 修改以下配置，其它保持默认
base_path=/fastdfs/tracker
tracker_server=ip01:22122
6.2：执行文件上传命令
#/usr/local/src/test.png 是需要上传文件路径
/usr/bin/fdfs_upload_file /etc/fdfs/client.conf /usr/local/src/test.png
返回文件ID号：group1/M00/00/00/tlxkwlhttsGAU2ZXAAC07quU0oE095.png
（能返回以上文件ID，说明文件已经上传成功）
7：在所有storage节点安装fastdfs-nginx-module
7.1：fastdfs-nginx-module 作用说明
FastDFS 通过 Tracker 服务器,将文件放在 Storage 服务器存储,但是同组存储服务器之间需要进入 文件复制,有同步延迟的问题。
假设 Tracker 服务器将文件上传到了 ip01,上传成功后文件 ID 已经返回给客户端。
此时 FastDFS 存储集群机制会将这个文件同步到同组存储 ip02,在文件还 没有复制完成的情况下,客户端如果用这个文件 ID 在 ip02 上取文件,就会出现文件无法访问的 错误。
而 fastdfs-nginx-module 可以重定向文件连接到源服务器取文件,避免客户端由于复制延迟导致的 文件无法访问错误。(解压后的 fastdfs-nginx-module 在 nginx 安装时使用)
7.2：解压 fastdfs-nginx-module_v1.16.tar.gz
cd /usr/local/src
tar -xzvf fastdfs-nginx-module_v1.16.tar.gz
7.3：修改 fastdfs-nginx-module 的 config 配置文件
cd fastdfs-nginx-module/srcvi config
将
CORE_INCS="$CORE_INCS /usr/local/include/fastdfs /usr/local/include/fastcommon/"
修改为:
CORE_INCS="$CORE_INCS /usr/include/fastdfs /usr/include/fastcommon/"
7.4：安装Nginx
安装Nginx上传当前的稳定版本 Nginx(nginx-1.10.0.tar.gz)到/usr/local/src 目录
7.5：安装编译 Nginx 所需的依赖包
yum install gcc gcc-c++ make automake autoconf libtool pcre* zlib openssl openssl-devel
7.6：编译安装 Nginx (添加 fastdfs-nginx-module 模块)
cd /usr/local/src/
tar -zxvf nginx-1.10.0.tar.gz
cd nginx-1.10.0
./configure --add-module=/usr/local/src/fastdfs-nginx-module/src
make && make install
7.7：复制 fastdfs-nginx-module 源码中的配置文件到/etc/fdfs 目录,并修改
cp /usr/local/src/fastdfs-nginx-module/src/mod_fastdfs.conf /etc/fdfs/
vi /etc/fdfs/mod_fastdfs.conf
7.8：修改以下配置
connect_timeout=10
base_path=/tmp
tracker_server=ip01:22122
storage_server_port=23000
group_name=group1
url_have_group_name = true
store_path0=/fastdfs/storage
7.9：复制 FastDFS 的部分配置文件到/etc/fdfs 目录
cd /usr/local/src/FastDFS/conf
cp http.conf mime.types /etc/fdfs/
7.10：在/fastdfs/storage 文件存储目录下创建软连接,将其链接到实际存放数据的目录
ln -s /fastdfs/storage/data/ /fastdfs/storage/data/M00
7.11：配置 Nginx
user nobody;
worker_processes 1;
events {worker_connections 1024;
}
http {include mime.types;default_type application/octet-stream;sendfile on;keepalive_timeout 65;server {listen 8888;server_name localhost;location ~/group([0-9])/M00 {ngx_fastdfs_module;}error_page 500 502 503 504 /50x.html;location = /50x.html {root html;}}
}A、8888 端口值是要与/etc/fdfs/storage.conf 中的 http.server_port=8888 相对应, 因为 http.server_port 默认为 8888,如果想改成 80,则要对应修改过来。B、Storage 对应有多个 group 的情况下,访问路径带 group 名,如/group1/M00/00/00/xxx, 对应的 Nginx 配置为:location ~/group([0-9])/M00 {ngx_fastdfs_module;
}
C、如查下载时如发现老报 404,将 nginx.conf 第一行 user nobody 修改为 user root 后重新启动。
7.12：防火墙中打开 Nginx 的 8888 端口
vi /etc/sysconfig/iptables添加:
-A INPUT -m state --state NEW -m tcp -p tcp --dport 8888 -j ACCEPT#重启防火墙
service iptables restart启动 Nginx/usr/local/nginx/sbin/nginx
(重启 Nginx 的命令为:/usr/local/nginx/sbin/nginx -s reload)
8：验证：通过浏览器访问测试时上传的文件
http://ip:port/group1/M00/00/00/tlxkwlhttsGAU2ZXAAC07quU0oE095.png
or
http://ip/group1/M00/00/00/tlxkwlhttsGAU2ZXAAC07quU0oE095.png
总结
提示：关于fastDFS执行流程，请自行查阅相关文档，本文章重点介绍安装部署示例。安装部署有点漫长，按照本文章就可以实现fastDFS文件服务器部署。
FastDFS单机部署安装相关推荐
- 蓝鲸智云6.1软件单机部署安装教程
环境准备 操作系统:centos7(64位) cpu:6核 内存:8GB 蓝鲸智云版本:社区版 6.1.2 ip:192.168.46.54 安装包下载 1.关闭 SELinux sed -i 's/ ...
- Mac/Linux 安装联邦学习 Fate 框架单机部署所需的依赖（填坑大全）
安装过程各种坑,官方单机部署教程,然而官方教程问题超多,我在Mac本机与新建的ubuntu18.04.5上分别单机部署,使用standalone-fate-master-1.4.5.tar.gz,py ...
- Oracle单机部署：GI安装
Oracle单机部署:GI安装 存储配置 ASM磁盘空间评估 GI单机安装配置 GI图形化安装流程 安装后测试
- Kubernetes单机部署-一键安装
Kubernetes单机部署-一键安装 环境说明 安装步骤 Kubernetes的应用已经越来越广了,我们总是为他强大而神秘的功能所折服.总想自己也搭一套环境,奈何网上很多教程都存在或多或少的问题.遂 ...
- Ubantu20.04.4安装Hadoop3.1.3单机部署
Hadoop3.1.3单机部署笔记记录 条件: Ubantu20.04.4 jdk-8u261 hadoop3.1.3 ubuntu-20.04.4-live-server 安装步骤 jdk-8u26 ...
- nacos安装配置和单机部署教程
首先说明:次教程是针对的nacos版本:1.3.2,不同的版本,可能略有不同. Springcloudalibaba的版本与Springboot的版本与nacos版本需要对应 Nacos支持三种部署模 ...
- 002_FastDFS单机部署
1. 环境准备 1.1. 使用的系统软件 1.2. 编译环境 1.2.1. 编译命令(实际安装了git.gcc.gcc-c++.pcre.pcre-devel.zlib.zlib-devel.open ...
- Ubuntu20.04中fastdfs,nginx的安装和配置（apt-get安装nginx添加fastdfs-nginx-module模块）
Ubuntu20.04中fastdfs,nginx的安装和配置 环境准备: 编译环境: Ubuntu20.04 使用的系统软件: fastdfs-6.07 fastdfs-nginx-module-1 ...
- centos6.5环境下zookeeper-3.4.6集群环境部署及单机部署详解
centos6.5环境下Zookeeper-3.4.6集群环境部署 [系统]Centos 6.5 集群部署 [软件]准备好jdk环境,此次我们的环境是open_jdk1.8.0_101 zookeep ...
最新文章
- 深度学习技术在脑机接口中的应用
- cpu和GPU有什么区别
- android学习笔记---59_各种图形的使用介绍,android炫酷效果的实现
- 第5条：用枚举表示状态、选项、状态码
- mysql存储数据到cephfs_1.4 cephfs挂载
- GIS应用技巧之空间插值
- 西门子g120变频器接线图_西门子S7—1500第二十二讲（G120变频器第二篇）
- python另存为excel_python 将数据保存为excel的xls格式(实例讲解)
- 计算机表格制作培训教材,电脑制作表格教案设计
- element Descriptions 内容超出隐藏 Tooltip展示完整内容
- 【人工智能项目】sg2im文字转图像
- 基本粒子结构以及宇宙现象的徦说
- 【数字图像处理】Anaconda下安装OpenCV
- CSS中position属性(relative,absolute,fixed)和display中的inline-block
- Nvidia Xavier Nx平台GMSL接口imx390相机驱动调试记录
- 麻省理工学院智能探索计划，旨在探索人类智力基础
- statfs结构体和函数详解——例程
- 转载 各大流行linux版本评价
- Leetcode面试题 10.01. 合并排序的数组（C语言）
- echart x轴标签偏移_坐标轴名称位置偏移的问题
热门文章
- opencv级联分类器（linux系统)
- 《MLB棒球创造营》：走近棒球运动·西雅图水手队
- 使用TKMapper主键的坑
- Ask, acquire, and attack: data-free UAP generation using class impressions
- MybatisPlus学习〖四〗报错篇 WARNWarn: Could not find @TableId in Class: com.fehead.OceanCode.dataobject
- SEO优化之og:标签
- Iphone, Ipad, Iwatch 屏蔽系统更新提示
- error C1010: 在查找预编译头时遇到意外的文件结尾。是否忘记了向源中添加“#include “pch.h“
- ADS1.2 Error:(Fatal) L6002u:could not open file C:/...
- http://dev.firnow.com/course/3_program/java/javashl/200726/11199.html