搭建FastDFS分布式文件存储系统教程
转载来源:https://github.com/happyfish100/fastdfs/wiki
搭建FastDFS分布式文件存储系统教程
环境准备
使用的系统软件
名称 | 说明 |
---|---|
centos | 7.x |
libfatscommon | FastDFS分离出的一些公用函数包 |
FastDFS | FastDFS本体 |
fastdfs-nginx-module | FastDFS和nginx的关联模块 |
nginx | nginx1.15.4 |
编译环境
yum install git gcc gcc-c++ make automake autoconf libtool pcre pcre-devel zlib zlib-devel openssl-devel wget vim -y
磁盘目录
说明 | 位置 |
---|---|
所有安装包 | /usr/local/src |
数据存储位置 | /home/dfs/ |
#这里我为了方便把日志什么的都放到了dfs |
mkdir /home/dfs #创建数据存储目录 cd /usr/local/src #切换到安装目录准备下载安装包
安装libfatscommon
git clone https://github.com/happyfish100/libfastcommon.git --depth 1 cd libfastcommon/ ./make.sh && ./make.sh install #编译安装
安装FastDFS
cd ../ #返回上一级目录 git clone https://github.com/happyfish100/fastdfs.git --depth 1 cd fastdfs/ ./make.sh && ./make.sh install #编译安装 #配置文件准备 cp /etc/fdfs/tracker.conf.sample /etc/fdfs/tracker.conf cp /etc/fdfs/storage.conf.sample /etc/fdfs/storage.conf cp /etc/fdfs/client.conf.sample /etc/fdfs/client.conf #客户端文件,测试用 cp /usr/local/src/fastdfs/conf/http.conf /etc/fdfs/ #供nginx访问使用 cp /usr/local/src/fastdfs/conf/mime.types /etc/fdfs/ #供nginx访问使用
安装fastdfs-nginx-module
cd ../ #返回上一级目录 git clone https://github.com/happyfish100/fastdfs-nginx-module.git --depth 1 cp /usr/local/src/fastdfs-nginx-module/src/mod_fastdfs.conf /etc/fdfs
安装nginx
wget http://nginx.org/download/nginx-1.15.4.tar.gz #下载nginx压缩包 tar -zxvf nginx-1.15.4.tar.gz #解压 cd nginx-1.15.4/ #添加fastdfs-nginx-module模块 ./configure --add-module=/usr/local/src/fastdfs-nginx-module/src/ make && make install #编译安装
单机部署
tracker配置
#服务器ip为 192.168.52.1 #我建议用ftp下载下来这些文件 本地修改 vim /etc/fdfs/tracker.conf #需要修改的内容如下 port=22122 # tracker服务器端口(默认22122,一般不修改) base_path=/home/dfs # 存储日志和数据的根目录
storage配置
vim /etc/fdfs/storage.conf #需要修改的内容如下 port=23000 # storage服务端口(默认23000,一般不修改) base_path=/home/dfs # 数据和日志文件存储根目录 store_path0=/home/dfs # 第一个存储目录 tracker_server=192.168.52.1:22122 # tracker服务器IP和端口 http.server_port=8888 # http访问文件的端口(默认8888,看情况修改,和nginx中保持一致)
client测试
vim /etc/fdfs/client.conf #需要修改的内容如下 base_path=/home/dfs tracker_server=192.168.52.1:22122 #tracker服务器IP和端口 #保存后测试,返回ID表示成功 如:group1/M00/00/00/xx.tar.gz fdfs_upload_file /etc/fdfs/client.conf /usr/local/src/nginx-1.15.4.tar.gz
配置nginx访问
vim /etc/fdfs/mod_fastdfs.conf #需要修改的内容如下 tracker_server=192.168.52.1:22122 #tracker服务器IP和端口 url_have_group_name=true store_path0=/home/dfs #配置nginx.config vim /usr/local/nginx/conf/nginx.conf #添加如下配置 server {listen 8888; ## 该端口为storage.conf中的http.server_port相同server_name localhost;location ~/group[0-9]/ {ngx_fastdfs_module;}error_page 500 502 503 504 /50x.html;location = /50x.html {root html;} } #测试下载,用外部浏览器访问刚才已传过的nginx安装包,引用返回的ID http://192.168.52.1:8888/group1/M00/00/00/wKgAQ1pysxmAaqhAAA76tz-dVgg.tar.gz #弹出下载单机部署全部跑通
分布式部署
tracker配置
#服务器ip为 192.168.52.2,192.168.52.3,192.168.52.4 #我建议用ftp下载下来这些文件 本地修改 vim /etc/fdfs/tracker.conf #需要修改的内容如下 port=22122 # tracker服务器端口(默认22122,一般不修改) base_path=/home/dfs # 存储日志和数据的根目录
storage配置
vim /etc/fdfs/storage.conf #需要修改的内容如下 port=23000 # storage服务端口(默认23000,一般不修改) base_path=/home/dfs # 数据和日志文件存储根目录 store_path0=/home/dfs # 第一个存储目录 tracker_server=192.168.52.2:22122 # 服务器1 tracker_server=192.168.52.3:22122 # 服务器2 tracker_server=192.168.52.4:22122 # 服务器3 http.server_port=8888 # http访问文件的端口(默认8888,看情况修改,和nginx中保持一致)
client测试
vim /etc/fdfs/client.conf #需要修改的内容如下 base_path=/home/moe/dfs tracker_server=192.168.52.2:22122 # 服务器1 tracker_server=192.168.52.3:22122 # 服务器2 tracker_server=192.168.52.4:22122 # 服务器3 #保存后测试,返回ID表示成功 如:group1/M00/00/00/xx.tar.gz fdfs_upload_file /etc/fdfs/client.conf /usr/local/src/nginx-1.15.4.tar.gz
配置nginx访问
vim /etc/fdfs/mod_fastdfs.conf #需要修改的内容如下 tracker_server=192.168.52.2:22122 # 服务器1 tracker_server=192.168.52.3:22122 # 服务器2 tracker_server=192.168.52.4:22122 # 服务器3 url_have_group_name=true store_path0=/home/dfs #配置nginx.config vim /usr/local/nginx/conf/nginx.conf #添加如下配置 server {listen 8888; ## 该端口为storage.conf中的http.server_port相同server_name localhost;location ~/group[0-9]/ {ngx_fastdfs_module;}error_page 500 502 503 504 /50x.html;location = /50x.html {root html;} }
启动
防火墙
#不关闭防火墙的话无法使用 systemctl stop firewalld.service #关闭 systemctl restart firewalld.service #重启
tracker
/etc/init.d/fdfs_trackerd start #启动tracker服务 /etc/init.d/fdfs_trackerd restart #重启动tracker服务 /etc/init.d/fdfs_trackerd stop #停止tracker服务 chkconfig fdfs_trackerd on #自启动tracker服务
storage
/etc/init.d/fdfs_storaged start #启动storage服务 /etc/init.d/fdfs_storaged restart #重动storage服务 /etc/init.d/fdfs_storaged stop #停止动storage服务 chkconfig fdfs_storaged on #自启动storage服务
nginx
/usr/local/nginx/sbin/nginx #启动nginx /usr/local/nginx/sbin/nginx -s reload #重启nginx /usr/local/nginx/sbin/nginx -s stop #停止nginx
检测集群
/usr/bin/fdfs_monitor /etc/fdfs/storage.conf # 会显示会有几台服务器 有3台就会 显示 Storage 1-Storage 3的详细信息
说明
配置文件
tracker_server #有几台服务器写几个 group_name #地址的名称的命名 bind_addr #服务器ip绑定 store_path_count #store_path(数字)有几个写几个 store_path(数字) #设置几个储存地址写几个 从0开始
可能遇到的问题
如果不是root 用户 你必须在除了cd的命令之外 全部加sudo 如果不是root 用户 编译和安装分开进行 先编译再安装 如果上传成功 但是nginx报错404 先检查mod_fastdfs.conf文件中的store_path0是否一致 如果nginx无法访问 先检查防火墙 和 mod_fastdfs.conf文件tracker_server是否一致 如果不是在/usr/local/src文件夹下安装 可能会编译出错
教程是在上一位huayanYu(小锅盖)的基础上添加了一些东西,本质上还是huayanYu(小锅盖)写的教程
搭建FastDFS分布式文件存储系统教程相关推荐
- FastDfs分布式文件存储系统
FastDfs分布式文件存储系统 FastDfs 是一个开源的高性能分布式文件系统(DFS). 它的主要功能包括:文件存储,文件同步和文件访问,以及高容量和负载平衡.主要解决了海量数据存储问题,特别适 ...
- Docker部署Fastdfs分布式文件存储系统
Docker部署Fastdfs分布式文件存储系统 Fastdfs分布式文件存储系统 拉取镜像 部署Tracker和Storage 开放端口 SpringBoot代码示例 Fastdfs分布式文件存储系 ...
- 超简单用Docker安装FastDFS分布式文件存储系统
个人简介 作者是一个来自河源的大三在校生,以下笔记都是作者自学之路的一些浅薄经验,如有错误请指正,将来会不断的完善笔记,帮助更多的Java爱好者入门. Docker安装FastDFS分布式文件存储系统 ...
- FastDFS - 分布式文件存储系统
目录 一.分布式文件存储 1.分布式文件存储的由来 2.常见的分布式存储框架 二.FastDFS介绍 三.FastDFS安装 1.拉取镜像文件 2.构建Tracker服务 3.构建Storage服务 ...
- FastDFS - 分布式文件存储系统(文件存储从此无忧)
简介 FastDFS 是一个开源的高性能分布式文件系统(DFS). 它的主要功能包括:文件存储,文件同步和文件访问,以及高容量和负载平衡.主要解决了海量数据存储问题,特别适合以中小文件(建议范围:4K ...
- 搭建FastDFS分布式文件方式一(Docker版本)
FastDFS是一个开源的分布式文件系统,它对文件进行管理,功能包括:文件存储.文件同步.文件访问(文件上传.文件下载)等,解决了大容量存储和负载均衡的问题.特别适合以文件为载体的在线服务,如相册网站 ...
- java电商项目搭建-------分布式文件存储系统(fastDFS)
人之所以痛苦,那是因为你在成长.--------magic_guo 微服务项目,由于访问量和系统的高可用性能,会将上传的文件图片等存放在搭建的分布式文件存储系统:现在比较流行的文件存储系统有fastD ...
- fastdfs安装_用asp.net core结合fastdfs打造分布式文件存储系统
今天主要是对开发过程,以及对FastDFS这个通用的分布式文件存储服务的单机及集群安装部署过程做个总结.希望对想要自建分布式文件系统的朋友有所帮助. 什么是FastDFS 这里先简单介绍下分布式文件存 ...
- 用asp.net core结合fastdfs打造分布式文件存储系统
最近被安排开发文件存储微服务,要求是能够通过配置来无缝切换我们公司内部研发的文件存储系统,FastDFS,MongDb GridFS,阿里云OSS,腾讯云OSS等.根据任务紧急度暂时先完成了通过配置来 ...
最新文章
- 龙邱树莓派Raspberry Pi 扩展板电路及其相关实验
- 【大数据风控体系】理想大数据风控体系
- ubuntu下安装openfetion
- javascript第三天(2)
- python3.5 连接mysql_python3.5 連接mysql本地數據庫
- 苹果笔记本电脑亮度无法调节_苹果MacBook AirM1评测:M1芯片给您不一样的体验
- 怎么认识自己--《思辩与立场:生活中无处不在的批判性思维工具》
- ArcGIS API for iOS在俄勒冈大学校园中的创新应用
- Docker容器技术与应用(项目1 Docker容器简介)
- mysql rpl_MySQL增强半同步参数rpl_semi_sync_master_wait_point值AFTER_SYNC和AFTER_COMMIT
- 金融工程与并行计算:第二章 仿真法在财务工程的使用 Part 2
- iPad能用的c语言编译器,干货:苹果新iPad Pro的USB-C接口可以这么玩
- flex之鸡肋功能——双击编辑列内容
- matlab 两行输出,设计一个c++程序输出两行*中间夹着hello
- 项目众包 开源项目_改善8个开源项目的可访问性
- 井下关于风速的规定_矿井有害气体最高允许浓度、温度、风速的规定 -
- javax.validation 校验 validator
- excel图表数据发送到ppt
- Java如何处理比较大的数据
- 错误: 程序包com.sun.istack.internal不存在