文件服务器fastdfs安装配置【草稿】

前言

请参考下列先行者的各个文档：

FastDFS : 开启钻牛角尖模式搞FastDFS集群

CentOS7搭建FastDFS V5.11分布式文件系统及Java整合详细过程(一)

FastDFS教程Ⅲ-文件服务器扩容

Ubuntu下FastDFS分布式文件系统配置与部署

推荐：

Ubuntu下安装并配置FastDFS

FastDFS搭建单机图片服务器（一）

抄录-ubuntu下面配置 fastdfs

这里不得不抄录一下安装过程，因为非常顺利就可以配置完成了。

FastDFS是一个开源的轻量级分布式文件系统，它对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务，如相册网站、视频网站等等。FastDFS的项目主页：https://github.com/happyfish100/fastdfs本文以Ubuntu 14.04 32位操作系统为例进行安装，FastDFS版本为5.08。（宿主机是一台老式iMac，不支持64位的Ubuntu虚拟机安装）第一步：安装Git
fastdfs依赖libfastcommon，需要从github上clone到本地编译安装。因此首先需要安装git。执行命令：apt-get install git第二步：克隆libfastcommon库
libfastcommon的源在项目 https://github.com/happyfish100/libfastcommon 需要使用git将其clone至本地安装。执行命令：git clone https://github.com/happyfish100/libfastcommon.git第三步：安装libfastcommon依赖
进入libfastcommon目录，依次执行脚本：./make.sh
和
./make.sh install
如图：第四步：设置环境变量和软链接
在32位ubuntu中，libfastcommon会安装在/usr/lib 中，64位系统则安装在 /usr/lib64 中。依次执行以下命令：（根据自己的操作系统选择路径）export LD_LIBRARY_PATH=/usr/lib/
和
ln -s /usr/lib/libfastcommon.so /usr/local/lib/libfastcommon.so第五步：下载、解压并安装FastDFS
FastDFS的Github下载地址为：https://github.com/happyfish100/fastdfs/releases下载完成后，执行命令：tar xzf fastdfs-5.08.tar.gz 进入解压后的目录，依次执行：
./make.sh
和
./make.sh install
如图：第六步：修改配置文件
在默认安装路径 /etc/fdfs 下，有三个示例配置文件：首先将这三个文件名中的sample去掉，改为：然后修改 tracker.conf 文件中的日志存放路径 和 tracker server HTTP端口号：# the base path to store data and log files
base_path=/home/fastdfs/log
注意，这个路径是根据实际情况自定义的，文件路径需要安装者手动创建，否则后续步骤会报“路径不存在”的错误，下同。
# HTTP port on this tracker server
http.server_port=8090
接下来修改 storage.conf 文件：
group_name=group1
store_path0=/home/fastdfs/storage0
base_path=/home/fastdfs/log
tracker_server=192.168.1.108:22122
http.server_port=8888
配置文件里有详细注释说明，这里不再赘述每个参数的作用。
继续修改 client.conf 文件：base_path=/home/fastdfs/log
tracker_server=192.168.1.108:22122
http.tracker_server_port=8888
#include http.conf注意，#include http.conf 这句，原配置文件中有2个#，删掉一个。
最后，修改 http.conf 文件。http.conf 文件在解压目录的conf目录下，里面有个默认图片路径，愿意改就改了吧。http.anti_steal.token_check_fail=/home/fastdfs/anti-steal.jpg
最后确认一下，四个配置文件：第七步：启动服务
依次执行：/usr/bin/fdfs_trackerd /etc/fdfs/tracker.conf
/usr/bin/fdfs_storaged /etc/fdfs/storage.conf如果上一步配置文件中的自定义路径没创建，有可能报这个错误：手动创建目录即可。
执行以下命令，验证服务：neps -ef |grep fdfs第八步：测试上传文件
首先准备一张图片文件，例如：/home/software/qq.jpg将这张图片上传至FastDFS，执行：fdfs_test /etc/fdfs/client.conf upload /home/software/qq.jpg上传成功，生成了两个文件。
---------------------
作者：系统信息
来源：CSDN
原文：https://blog.csdn.net/softwave/article/details/54017095
版权声明：本文为博主原创文章，转载请附上博文链接！

单机下的配置：

创建几个后面能用到的目录
mkdir /home/fastdfs/
mkdir /home/fastdfs/storage
mkdir /home/fastdfs/storage/storage-image
mkdir /home/fastdfs/tracker
mkdir /home/fastdfs/client
mkdir /home/fastdfs/fast-nginx

tracker：上述安装成功后，在/etc/目录下会有一个fdfs的目录，进入它。会看到三个.sample后缀的文件，这是作者给我们的示例文件，我们需要把其中的tracker.conf.sample文件改为tracker.conf配置文件并修改它。
1、复制重命名配置文件
cd /etc/fdfs
cp tracker.conf.sample tracker.conf2、打开
vim tracker.conf主要修改两个参数base_path=/home/fastdfs/trackerhttp.server_port=80storage:现在开始配置 Storage 服务，由于我这是单机器测试，你把 Storage 服务放在多台服务器也是可以的，它有 Group(组)的概念，同一组内服务器互备同步，这里不再演示。1、复制重命名配置文件
cd /etc/fdfs
会看到三个.sample后缀的文件，我们需要把其中的storage.conf.sample文件改为storage.conf配置文件并修改它cp storage.conf.sample storage.conf2、打开文件
vim storage.conf修改几个参数group_name=group1
base_path=/home/fastdfs/storage/storage-image
store_path0=/home/fastdfs/storage/storage-image
tracker_server=192.168.86.131:22122192.168.86.131改成你的本机ip。如果部署的是阿里云ECS服务器，
tracker_server=公网ip:22122stroage的port=23000这个端口参数也不建议修改，默认就好，除非你已经占用它了。
修改完成保存并退出 vim ，这时候我们依然想优雅地启动 Storage服务，带目录的命令不够优雅，这里还是使用ln -s 建立软链接。
---------------------
作者：MissEel
来源：CSDN
原文：https://blog.csdn.net/MissEel/article/details/80856194
版权声明：本文为博主原创文章，转载请附上博文链接！

验证是否已经启动

sudo service fdfs_storaged start 命令启动后，ps-ajx|grep fdfs 查看不到 fdfs_storaged启动信息可能原因1：修改tracker_server=ip地址:22122ip地址不要写 127.0.0.1，要写（ifconfig命令后显示的那个ip地址）不过，本机的话可以写localhost
---------------------
作者：linux_jiawei
来源：CSDN
原文：https://blog.csdn.net/tiexhehongfei/article/details/80013528
版权声明：本文为博主原创文章，转载请附上博文链接！

到这一步已经正常启动了tracker和storage服务。
指定命令尝试两者进行通信
/usr/bin/fdfs_monitor /etc/fdfs/storage.conf启动正常的话，就可上传图片了，但是目前还无法下载。

第八步：测试上传文件
首先准备一张图片文件，例如：/home/software/qq.jpg将这张图片上传至FastDFS，执行：fdfs_test /etc/fdfs/client.conf upload /home/software/qq.jpg上传成功，生成了两个文件。

抄录-centos或者ubuntu下面nginx配置fastdfs的扩展具体方案

FastDFS搭建单机图片服务器（二）
根据
分布式文件系统 - FastDFS 在 CentOS 下配置安装部署
和
分布式文件系统 - FastDFS 配置 Nginx 模块及上传测试
一步一步搭建的，但还是碰到了版本太低，导致安装报错的问题。费时间解决了问题之后，我将这个步骤和对应的版本记录下载，有需要的小伙伴可以参考一下。
用这个步骤，我已经在一部本机的虚拟机和一部阿里云服务器上分别搭建过，并且能上传和下载图片。搭建单机服务器的还是比较简单的。我分成了两篇来进行记录。FastDFS搭建单机图片服务器（一）主要是下载、安装和配置FastDFS相关的组件，实现图片的上传。
FastDFS搭建单机图片服务器（二）主要是下载、安装和配置nginx相关的组件，实现图片的下载。
接着上一篇（一）来继续安装nginx的步骤。一、安装nginx需要准备的环境(CentOS)
1、安装gcc
安装 nginx 需要先将官网下载的源码进行编译，编译依赖 gcc 环境，如果没有 gcc 环境，则需要安装：
yum install gcc-c++2、 安装PCRE pcre-devel
PCRE(Perl Compatible Regular Expressions) 是一个Perl库，包括 perl 兼容的正则表达式库。nginx 的 http 模块使用 pcre 来解析正则表达式，所以需要在 linux 上安装 pcre 库，pcre-devel 是使用 pcre 开发的一个二次开发库。nginx也需要此库。命令：
yum install -y pcre pcre-devel3、安装zlib
zlib 库提供了很多种压缩和解压缩的方式， nginx 使用 zlib 对 http 包的内容进行 gzip ，所以需要在 Centos 上安装 zlib 库。
yum install -y zlib zlib-devel4、安装OpenSSL
OpenSSL 是一个强大的安全套接字层密码库，囊括主要的密码算法、常用的密钥和证书封装管理功能及 SSL 协议，并提供丰富的应用程序供测试或其它目的使用。
nginx 不仅支持 http 协议，还支持 https（即在ssl协议上传输http），所以需要在 Centos 安装 OpenSSL 库。
yum install -y openssl openssl-devel参考资料：
从零开始学 Java - CentOS 下安装 Nginx由于ubuntu系统对yum不友好，下载方式不一样。一、安装nginx需要准备的环境(Ubuntu)
参考资料：ubuntu下安装nginx时依赖库zlib，pcre，openssl安装方法1、安装gcc
安装 nginx 需要先将官网下载的源码进行编译，编译依赖 gcc 环境，如果没有 gcc 环境，则需要安装：
查看是否已经下载：
dpkg -l | grep gcc
如果没有则下载安装
sudo apt-get install g++-52、 安装PCRE pcre-devel
PCRE(Perl Compatible Regular Expressions) 是一个Perl库，包括 perl 兼容的正则表达式库。nginx 的 http 模块使用 pcre 来解析正则表达式，所以需要在 linux 上安装 pcre 库，pcre-devel 是使用 pcre 开发的一个二次开发库。nginx也需要此库。命令：sudo apt-get install openssl libssl-dev3、安装zlib
zlib 库提供了很多种压缩和解压缩的方式， nginx 使用 zlib 对 http 包的内容进行 gzip ，所以需要在 Centos 上安装 zlib 库。
查看是否安装
dpkg -l | grep zlib
如果没有则下载安装
sudo apt-get install zlib1g-dev4、安装OpenSSL
OpenSSL 是一个强大的安全套接字层密码库，囊括主要的密码算法、常用的密钥和证书封装管理功能及 SSL 协议，并提供丰富的应用程序供测试或其它目的使用。
nginx 不仅支持 http 协议，还支持 https（即在ssl协议上传输http），所以需要在 Centos 安装 OpenSSL 库。
sudo apt-get install openssl libssl-dev二、下载fastdfs-nginx-module
1、下载
cd /usr/local
防止同名压缩包被覆盖，重命名一下已下载的libfastcommon安装包master.zip，
mv master.zip libfastcommon.zipwget -c https://github.com/happyfish100/fastdfs-nginx-module/archive/master.zip2、解压
unzip master.zip三、下载Nginx
mkdir /usr/local/nginx
cd /usr/local/nginx
1、下载
wget -c https://nginx.org/download/nginx-1.10.1.tar.gz2、解压nginx-1.10.1.tar.gz
tar -zxvf nginx-1.10.1.tar.gz3、安装nginx加入fastdfs-nginx-module模块。这是和普通 Nginx 安装不一样的地方，因为加载了模块。cd /usr/local/nginx/nginx-1.10.1/./configure --add-module=../../fastdfs-nginx-module-master/src/如果这一步有报错。有些文件显示not found错误。请确保环境准备好了。
回到第一、安装nginx需要准备的环境，好好确认一下。如果没有报错，则执行编译4、编译
make如果这里报了难以描述的错误
解决办法：
FastDFS版本必须 >= 5.11才可以。否则在使用fastdfs-nginx-module模块整合Nginx时候会出错，编译Nginx的时候会报错。
解决问题再执行make5、安装
make install6、查看安装成功的版本
/usr/local/nginx/sbin/nginx -V四、配置 fastdfs-nginx-module 和 Nginx
1.配置mod-fastdfs.conf，并拷贝到/etc/fdfs文件目录下。
创建nginx存放日志和数据的目录
mkdir /home/fastdfs/fast-nginx
（已创建可以忽略）2、复制配置文件
cd /usr/local/fastdfs-nginx-module-master/src/
复制配置文件到/etc/fdfs目录下
cp mod_fastdfs.conf /etc/fdfs3、修改mod_fastdfs.conf配置文件
vi /etc/fdfs/mod_fastdfs.conf修改mod-fastdfs.conf配置只需要修改三个参数就行了，其他不需要也不建议改变。tracker_server=192.168.86.131:22122
usr_have_group_name=true
store_path0=/home/fastdfs/storage/storage-image
1
2
3
tracker_server=192.168.86.131:22122填本机ip如果部署的是阿里云ECS服务器，
tracker_server=公网ip:221224、修改config文件
修改/usr/local/fastdfs-nginx-module-master/src/config文件：
vi /usr/local/fastdfs-nginx-module-master/src/config
图中标出的路径要和你的libfastcommon的路径保持一致，可能你的路径中有/local/这一层，如果你安装的目录没有/local/这一层，就将local删除。 5、拷贝其他配置文件
接着我们需要把fastdfs-5.11下面的配置中还没有存在/etc/fdfs中的拷贝进去cd /usr/local/fastdfs-5.11/confcp anti-steal.jpg http.conf mime.types /etc/fdfs/6、配置nginx.confcd /usr/local/nginx/confvi nginx.conf编辑内容如下：location /group1/M00{ngx_fastdfs_module;7、添加软链接
由于我们配置了group1/M00的访问，我们需要建立一个group1文件夹，并建立M00到data的软链接。mkdir /home/fastdfs/storage/storage-image/data/group1ln -s /home/fastdfs/storage/storage-image/data /home/fastdfs/storage/storage-image/data/group1/M008、启动 Nginx/usr/local/nginx/sbin/nginx五、上传测试
1、配置client.conf
mkdir /home/fastdfs/client2、修改配置文件
cd /etc/fdfs
重命名
cp client.conf.sample client.conf
vi client.conf修改一下两个参数即可
base_path=/home/fastdfs/client
tracker_server=192.168.86.131:22122如果部署的是阿里云ECS服务器，
tracker_server=公网ip:221223、上传文件
首先在本地创建一个文件
/home/kiki/test.txt上传：
/usr/bin/fdfs_test /etc/fdfs/client.conf upload /home/kiki/test.txt 访问url 访问路径如果访问不了，关闭防火墙
1) 防火墙，重启后生效
开启： chkconfig iptables on
关闭： chkconfig iptables off2) 防火墙，即时生效，重启后失效
开启： service iptables start
关闭： service iptables stop3)ubuntu系统下
关闭防火墙：ufw disable
开启防火墙：ufw enable再次访问就成功了。
---------------------
作者：MissEel
来源：CSDN
原文：https://blog.csdn.net/MissEel/article/details/80859865
版权声明：本文为博主原创文章，转载请附上博文链接！

安装排坑

注意，很多时候意外都会出现，尤其你用的都是最新版本nginx时候，在1.15.7 nginx版本上面编译 nginx - fastdfs - module就出问题了：

然后检查之：
FastDFS安装Nginx的模块,fastdfs-nginx-module报错:fdfs_define.h:15:27: 致命错误：common_define.h：没有那个文件或目录

这兄dei也遇到了，解决方案：

并且很幸运的找到了解决方法:
编辑 fastdfs-nginx-module-1.20/src/config 文件

ngx_addon_name=ngx_http_fastdfs_moduleif test -n "${ngx_module_link}"; then
ngx_module_type=HTTP
ngx_module_name=$ngx_addon_name
ngx_module_incs="/usr/include/fastdfs /usr/include/fastcommon/"
ngx_module_libs="-lfastcommon -lfdfsclient"
ngx_module_srcs="$ngx_addon_dir/ngx_http_fastdfs_module.c"
ngx_module_deps=
CFLAGS="$CFLAGS -D_FILE_OFFSET_BITS=64 -DFDFS_OUTPUT_CHUNK_SIZE='2561024' -DFDFS_MOD_CONF_FILENAME='"/etc/fdfs/mod_fastdfs.conf"'"
. auto/module
else
HTTP_MODULES="$HTTP_MODULES ngx_http_fastdfs_module"
NGX_ADDON_SRCS="$NGX_ADDON_SRCS $ngx_addon_dir/ngx_http_fastdfs_module.c"
CORE_INCS="$CORE_INCS /usr/include/fastdfs /usr/include/fastcommon/"
CORE_LIBS="$CORE_LIBS -lfastcommon -lfdfsclient"
CFLAGS="$CFLAGS -D_FILE_OFFSET_BITS=64 -DFDFS_OUTPUT_CHUNK_SIZE='2561024' -DFDFS_MOD_CONF_FILENAME='"/etc/fdfs/mod_fastdfs.conf"'"
fi

改成以上内容貌似就可以通过
改变的文件内容

ngx_module_incs="/usr/include/fastdfs /usr/include/fastcommon/"
CORE_INCS="$CORE_INCS /usr/include/fastdfs /usr/include/fastcommon/"

注意！！！千万不要将config的文件完全抄下去，只要将

ngx_module_incs="/usr/include/fastdfs /usr/include/fastcommon/"
CORE_INCS="$CORE_INCS /usr/include/fastdfs /usr/include/fastcommon/"

这两句改了即可，例如：
我的fastdfs config文件是这样的：

修改之前：

修改之后：

因为下载来的模块config可能已经变了，不能照抄的！

编译过后，会这样：

另外提醒：
即使想要降版本，可能也会有麻烦，因为gcc的版本过新，而nginx1.10的这个版本旧，会报错的。

自编译的nginx不适合生产环境

注意，在ubuntu下面，我们会用apt-get nginx来直接安装nginx的。
假如输入
nginx -V命令可以看到：

而我们刚刚编译的nginx就。。。em：

一言难尽，什么都没有，所以这种情况如何处理？
请问 apt-get 方式安装的 nginx 如何添加第三方模块？

首先，我们先下载源代码：

apt-get source nginx

然后，嗯。。。可以看到的是版本1.140的，离最新版本1.15有距离。。。不过没关系。
然后，下载fastdfs的扩展模块：

wget -c https://github.com/happyfish100/fastdfs-nginx-module/archive/master.zip

重命名，然后解压：

mv master.zip fastdfs-nginx-module.zip
unzip fastdfs-nginx-module.zip

注意，在source nginx时候已经将nginx 1.14的源代码下载了，就是这里：

查看一下编译的时候的参数：

即参数如下：

--with-cc-opt='-g -O2 -fdebug-prefix-map=/build/nginx-FIJPpj/nginx-1.14.0=. -fstack-protector-strong -Wformat -Werror=format-security -fPIC -Wdate-time -D_FORTIFY_SOURCE=2' --with-ld-opt='-Wl,-Bsymbolic-functions -Wl,-z,relro -Wl,-z,now -fPIC' --prefix=/usr/share/nginx --conf-path=/etc/nginx/nginx.conf --http-log-path=/var/log/nginx/access.log --error-log-path=/var/log/nginx/error.log --lock-path=/var/lock/nginx.lock --pid-path=/run/nginx.pid --modules-path=/usr/lib/nginx/modules --http-client-body-temp-path=/var/lib/nginx/body --http-fastcgi-temp-path=/var/lib/nginx/fastcgi --http-proxy-temp-path=/var/lib/nginx/proxy --http-scgi-temp-path=/var/lib/nginx/scgi --http-uwsgi-temp-path=/var/lib/nginx/uwsgi --with-debug --with-pcre-jit --with-http_ssl_module --with-http_stub_status_module --with-http_realip_module --with-http_auth_request_module --with-http_v2_module --with-http_dav_module --with-http_slice_module --with-threads --with-http_addition_module --with-http_geoip_module=dynamic --with-http_gunzip_module --with-http_gzip_static_module --with-http_image_filter_module=dynamic --with-http_sub_module --with-http_xslt_module=dynamic --with-stream=dynamic --with-stream_ssl_module --with-mail=dynamic --with-mail_ssl_module

所以我们可以得到编译ubuntu下面的nginx的正式命令：

ls nginx-1.14.0/
./configure --add-module=../fastdfs-nginx-module-master/src/  --with-cc-opt='-g -O2 -fdebug-prefix-map=/build/nginx-FIJPpj/nginx-1.14.0=. -fstack-protector-strong -Wformat -Werror=format-security -fPIC -Wdate-time -D_FORTIFY_SOURCE=2' --with-ld-opt='-Wl,-Bsymbolic-functions -Wl,-z,relro -Wl,-z,now -fPIC' --prefix=/usr/share/nginx --conf-path=/etc/nginx/nginx.conf --http-log-path=/var/log/nginx/access.log --error-log-path=/var/log/nginx/error.log --lock-path=/var/lock/nginx.lock --pid-path=/run/nginx.pid --modules-path=/usr/lib/nginx/modules --http-client-body-temp-path=/var/lib/nginx/body --http-fastcgi-temp-path=/var/lib/nginx/fastcgi --http-proxy-temp-path=/var/lib/nginx/proxy --http-scgi-temp-path=/var/lib/nginx/scgi --http-uwsgi-temp-path=/var/lib/nginx/uwsgi --with-debug --with-pcre-jit --with-http_ssl_module --with-http_stub_status_module --with-http_realip_module --with-http_auth_request_module --with-http_v2_module --with-http_dav_module --with-http_slice_module --with-threads --with-http_addition_module --with-http_geoip_module=dynamic --with-http_gunzip_module --with-http_gzip_static_module --with-http_image_filter_module=dynamic --with-http_sub_module --with-http_xslt_module=dynamic --with-stream=dynamic --with-stream_ssl_module --with-mail=dynamic --with-mail_ssl_module

如下：

最后结果：

嗯。。配置是吧，要模块：
参考一下
Linux Nginx安装以及可能出现错误

apt-get install libxml2 libxml2-dev
apt-get install libxslt-dev

好，继续配置：

抽丝剥茧，可以查到：
GD Graphics (Draw) Library

所以，现在的问题在于，如何安装libgd。

在release里面可以看到：

难道还要手动编译？
不过，ubuntu里面有这软件的：

直接安装：

继续：

the GeoIP module requires the GeoIP library

geoip 模块。。。
嗯，
ubuntu安装GeoIP问题


sudo apt-get install geoip-bin geoip-database

继续下一个：
还是提示：


./configure: error: the GeoIP module requires the GeoIP library.
You can either do not enable the module or install the library.

查看一下ubuntu的仓库：

好了，估计要安装：

libnginx-mod-http-geoip

依然无效。。
偶然查到：
./configure: error: the GeoIP module requires the GeoIP library.

apt-get install libgeoip-dev

继续

终于可以了，内牛满面。。。
好了，安装：

make

然后，

老问题了。改改：

ngx_module_incs="/usr/include/fastdfs /usr/include/fastcommon/"
CORE_INCS="$CORE_INCS /usr/include/fastdfs /usr/include/fastcommon/"

修改以后再config再make：

make成功，然后;

make install

好了，查看版本号：

/usr/local/nginx/sbin/nginx -V

？！不对，明明编译的是1.1.40版本的，而且添加了很多插件，为什么还是这个？
然后查一下所有nginx相关目录：

最后发现在：

/usr/share/nginx 下面才是我们编译的

/usr/share/nginx/sbin/nginx -V

对比一下目前版本的nginx：

确实是我们编译的。

好了，下一步我们要替换掉原本apt-get安装的nginx。

请先关停 nginx:

systemctl stop nginx

rm /usr/sbin/nginx
cp /usr/share/nginx/sbin/nginx /usr/sbin/nginx

替换成功。