go-fastdfs

go-fastdfs
进入go-fastdfs学习之路

linux安装
先安装vim命令 yum install vim(centos编辑器)
安装wget命令 yum install wget(centos中下载)
firewall-cmd —state ##查看防火墙状态，是否是running
firewall-cmd —reload ##重新载入配置，比如添加规则之后，需要执行此命令
firewall-cmd —add-port=8080/tcp —permanent ##永久添加8080端口
ps -ef|grep fileserver 查看go-fastdfs服务状态
tail -f catalina.out 这样是看实时日志
安装支持ZIP的工具 yum install -y unzip zip
解压zip文件 unzip 文件名.zip
压缩一个zip文件 zip 文件名.zip 文件夹名称或文件名称
后台运行linux中nohup ./fileserver &
使用单机版,项目初次启动过后会在当前目录下生成配置文件和数据文件等等

windows下直接运行fileserver.exe
linux下需要下载压缩包,解压后进入目录下执行./xxxxx.sh start
管理后台下载地址 https://github.com/perfree/go-fastdfs-web/releases
将管理后台和启动文件放在用一台服务器即可,后台访问地址http://yourserver ip:8088
配置上传需要验证token
“认证url”: “当url不为空时生效”,
“auth_url”: “http://192.168.1.168:8080/emr/api/upload/checkAuthToken”
上传调用ip:端口/upload需要多传一个参数,如果叫authToken然后你在上面填写的认证url接口中取到这个参数,可以去数据库查或者本地验证配置秘钥如果通过在接口返回"ok"字符串即可上传,否则会报authfail
“文件是否去重”: “默认去重,不利于删除”,改为false
“enable_distinct_file”: false,
配置文件
{
“绑定端号”: “端口”,
“addr”: “:8080”,
“PeerID”: “集群内唯一,请使用0-9的单字符，默认自动生成”,
“peer_id”: “6”,
“本主机地址”: “本机http地址,默认自动生成(注意端口必须与addr中的端口一致），必段为内网，自动生成不为内网请自行修改，
下同”,
“host”: “http://192.168.1.168:8080”,
“集群”: “集群列表,注意为了高可用，IP必须不能是同一个,同一不会自动备份，且不能为127.0.0.1,且必须为内网IP，默认自动
生成”,
“peers”: [“http://192.168.1.168:8080”],
“组号”: “用于区别不同的集群(上传或下载)与support_group_upload配合使用,带在下载路径中”,
“group”: “group1”,
“是否合并小文件”: “默认不合并,合并可以解决inode不够用的情况（当前对于小于1M文件）进行合并”,
“enable_merge_small_file”: false,
“重试同步失败文件的时间”: “单位秒”,
“refresh_interval”: 1800,
“是否自动重命名”: “默认不自动重命名,使用原文件名”,
“rename_file”: false,
“是否支持web上传,方便调试”: “默认支持web上传”,
“enable_web_upload”: true,
“是否支持非日期路径”: “默认支持非日期路径,也即支持自定义路径,需要上传文件时指定path”,
“enable_custom_path”: true,
“下载域名”: “用于外网下载文件的域名,不包含http://”,
“download_domain”: “”,
“场景列表”: "当设定后，用户指的场景必项在列表中，默认不做限制(注意：如果想开启场景认功能，格式如下：‘场
景名:googleauth_secret’ 如 default:N7IET373HB2C5M6D “,
“scenes”: [],
“默认场景”: “默认default”,
“default_scene”: “default”,
“是否显示目录”: “默认显示,方便调试用,上线时请关闭”,
“show_dir”: true,
“邮件配置”: “”,
“mail”: {
“user”: "abc@163.com”,
“password”: “abc”,
“host”: “smtp.163.com:25”
},
“告警接收邮件列表”: “接收人数组”,
“alram_receivers”: [],
“告警接收URL”: “方法post,参数:subjet,message”,
“alarm_url”: “”,
“下载是否需带token”: “真假”,
“download_use_token”: false,
“下载token过期时间”: “单位秒”,
“download_token_expire”: 600,
“是否自动修复”: “在超过1亿文件时出现性能问题，取消此选项，请手动按天同步，请查看FAQ”,
“auto_repair”: true,
“文件去重算法md5可能存在冲突，默认md5”: “sha1|md5”,
“file_sum_arithmetic”: “md5”,
“是否支持按组（集群）管理,主要用途是Nginx支持多集群”: “默认不支持,不支持时路径为http://10.1.5.4:8080/action,
支持时为http://10.1.5.4:8080/group(配置中的group参数)/action,action为动作名，如status,delete,sync等”,
“support_group_manage”: false,
“管理ip列表”: “用于管理集的ip白名单,”,
“admin_ips”: [“127.0.0.1”],
“是否启用迁移”: “默认不启用”,
“enable_migrate”: false,
“文件是否去重”: “默认去重”,
“enable_distinct_file”: true,
“是否开启跨站访问”: “默认开启”,
“enable_cross_origin”: true,
“是否开启Google认证，实现安全的上传、下载”: “默认不开启”,
“enable_google_auth”: false,
“认证url”: “当url不为空时生效”,
“auth_url”: “”,
“下载是否认证”: “默认不认证(注意此选项是在auth_url不为空的情况下生效)”,
“enable_download_auth”: false,
“默认是否下载”: “默认下载”,
“default_download”: false,
“本机是否只读”: “默认可读可写”,
“read_only”: false
}
1个group配置多台服务器
如果是用虚拟机配置linux可直接克隆单机的配置但是应该注意以下几点:

主要确认peer_id,peers,host,support_group_manage,default_download”
配置文件第一台
{

“绑定端号”: “端口”,
“addr”: “:8080”,
“PeerID”: “集群内唯一,请使用0-9的单字符，默认自动生成”,
“peer_id”: “1”,
“本主机地址”: “本机http地址,默认自动生成(注意端口必须与addr中的端口一致），必段为内网，自动生成不为内网请自行修改，
下同”,
“host”: “http://192.168.88.100:8080”,
“集群”: “集群列表,注意为了高可用，IP必须不能是同一个,同一不会自动备份，且不能为127.0.0.1,且必须为内网IP，默认自动
生成”,
“peers”: [“http://192.168.88.100:8080”,“http://192.168.88.101:8080”],
“组号”: “用于区别不同的集群(上传或下载)与support_group_upload配合使用,带在下载路径中”,
“group”: “group1”,
“是否合并小文件”: “默认不合并,合并可以解决inode不够用的情况（当前对于小于1M文件）进行合并”,
“enable_merge_small_file”: false,
“重试同步失败文件的时间”: “单位秒”,
“refresh_interval”: 1800,
“是否自动重命名”: “默认不自动重命名,使用原文件名”,
“rename_file”: false,
“是否支持web上传,方便调试”: “默认支持web上传”,
“enable_web_upload”: true,
“是否支持非日期路径”: “默认支持非日期路径,也即支持自定义路径,需要上传文件时指定path”,
“enable_custom_path”: true,
“下载域名”: “用于外网下载文件的域名,不包含http://”,
“download_domain”: “”,
“场景列表”: "当设定后，用户指的场景必项在列表中，默认不做限制(注意：如果想开启场景认功能，格式如下：‘场
景名:googleauth_secret’ 如 default:N7IET373HB2C5M6D “,
“scenes”: [],
“默认场景”: “默认default”,
“default_scene”: “default”,
“是否显示目录”: “默认显示,方便调试用,上线时请关闭”,
“show_dir”: true,
“邮件配置”: “”,
“mail”: {
“user”: "abc@163.com”,
“password”: “abc”,
“host”: “smtp.163.com:25”
},
“告警接收邮件列表”: “接收人数组”,
“alram_receivers”: [],
“告警接收URL”: “方法post,参数:subjet,message”,
“alarm_url”: “”,
“下载是否需带token”: “真假”,
“download_use_token”: false,
“下载token过期时间”: “单位秒”,
“download_token_expire”: 600,
“是否自动修复”: “在超过1亿文件时出现性能问题，取消此选项，请手动按天同步，请查看FAQ”,
“auto_repair”: true,
“文件去重算法md5可能存在冲突，默认md5”: “sha1|md5”,
“file_sum_arithmetic”: “md5”,
“是否支持按组（集群）管理,主要用途是Nginx支持多集群”: “默认不支持,不支持时路径为http://10.1.5.4:8080/action,
支持时为http://10.1.5.4:8080/group(配置中的group参数)/action,action为动作名，如status,delete,sync等”,
“support_group_manage”: true,
“管理ip列表”: “用于管理集的ip白名单,”,
“admin_ips”: [“127.0.0.1”],
“是否启用迁移”: “默认不启用”,
“enable_migrate”: false,
“文件是否去重”: “默认去重”,
“enable_distinct_file”: true,
“是否开启跨站访问”: “默认开启”,
“enable_cross_origin”: true,
“是否开启Google认证，实现安全的上传、下载”: “默认不开启”,
“enable_google_auth”: false,
“认证url”: “当url不为空时生效”,
“auth_url”: “”,
“下载是否认证”: “默认不认证(注意此选项是在auth_url不为空的情况下生效)”,
“enable_download_auth”: false,
“默认是否下载”: “默认下载”,
“default_download”: false,
“本机是否只读”: “默认可读可写”,
“read_only”: false
}

配置文件第二台
{

“绑定端号”: “端口”,
“addr”: “:8080”,
“PeerID”: “集群内唯一,请使用0-9的单字符，默认自动生成”,
“peer_id”: “2”,
“本主机地址”: “本机http地址,默认自动生成(注意端口必须与addr中的端口一致），必段为内网，自动生成不为内网请自行修改，
下同”,
“host”: “http://192.168.88.101:8080”,
“集群”: “集群列表,注意为了高可用，IP必须不能是同一个,同一不会自动备份，且不能为127.0.0.1,且必须为内网IP，默认自动
生成”,
“peers”: [“http://192.168.88.100:8080”,“http://192.168.88.101:8080”],
“组号”: “用于区别不同的集群(上传或下载)与support_group_upload配合使用,带在下载路径中”,
“group”: “group1”,
“是否合并小文件”: “默认不合并,合并可以解决inode不够用的情况（当前对于小于1M文件）进行合并”,
“enable_merge_small_file”: false,
“重试同步失败文件的时间”: “单位秒”,
“refresh_interval”: 1800,
“是否自动重命名”: “默认不自动重命名,使用原文件名”,
“rename_file”: false,
“是否支持web上传,方便调试”: “默认支持web上传”,
“enable_web_upload”: true,
“是否支持非日期路径”: “默认支持非日期路径,也即支持自定义路径,需要上传文件时指定path”,
“enable_custom_path”: true,
“下载域名”: “用于外网下载文件的域名,不包含http://”,
“download_domain”: “”,
“场景列表”: "当设定后，用户指的场景必项在列表中，默认不做限制(注意：如果想开启场景认功能，格式如下：‘场
景名:googleauth_secret’ 如 default:N7IET373HB2C5M6D “,
“scenes”: [],
“默认场景”: “默认default”,
“default_scene”: “default”,
“是否显示目录”: “默认显示,方便调试用,上线时请关闭”,
“show_dir”: true,
“邮件配置”: “”,
“mail”: {
“user”: "abc@163.com”,
“password”: “abc”,
“host”: “smtp.163.com:25”
},
“告警接收邮件列表”: “接收人数组”,
“alram_receivers”: [],
“告警接收URL”: “方法post,参数:subjet,message”,
“alarm_url”: “”,
“下载是否需带token”: “真假”,
“download_use_token”: false,
“下载token过期时间”: “单位秒”,
“download_token_expire”: 600,
“是否自动修复”: “在超过1亿文件时出现性能问题，取消此选项，请手动按天同步，请查看FAQ”,
“auto_repair”: true,
“文件去重算法md5可能存在冲突，默认md5”: “sha1|md5”,
“file_sum_arithmetic”: “md5”,
“是否支持按组（集群）管理,主要用途是Nginx支持多集群”: “默认不支持,不支持时路径为http://10.1.5.4:8080/action,
支持时为http://10.1.5.4:8080/group(配置中的group参数)/action,action为动作名，如status,delete,sync等”,
“support_group_manage”: true,
“管理ip列表”: “用于管理集的ip白名单,”,
“admin_ips”: [“127.0.0.1”],
“是否启用迁移”: “默认不启用”,
“enable_migrate”: false,
“文件是否去重”: “默认去重”,
“enable_distinct_file”: true,
“是否开启跨站访问”: “默认开启”,
“enable_cross_origin”: true,
“是否开启Google认证，实现安全的上传、下载”: “默认不开启”,
“enable_google_auth”: false,
“认证url”: “当url不为空时生效”,
“auth_url”: “”,
“下载是否认证”: “默认不认证(注意此选项是在auth_url不为空的情况下生效)”,
“enable_download_auth”: false,
“默认是否下载”: “默认下载”,
“default_download”: false,
“本机是否只读”: “默认可读可写”,
“read_only”: false
}

nginx配合搭建集群扩容
从官网下载最新nginx，下载地址为：http://nginx.org/en/download.html
1.windows上安装nginx

下载完成后解压进入目录
注意不要直接双击nginx.exe，这样会导致修改配置后重启、停止nginx无效，需要手动关闭任务管理器内的所有nginx进程
在nginx.exe目录，打开命令行工具，用命令启动/关闭/重启nginx
start nginx : 启动nginx
nginx -s reload ：修改配置后重新加载生效
nginx -s reopen ：重新打开日志文件
nginx -t -c /path/to/nginx.conf 测试nginx配置文件是否正确
关闭nginx：
nginx -s stop :快速停止nginx
nginx -s quit ：完整有序的停止nginx
进入nginx的conf目录下修改nginx.conf文件
配置监听域名
upstream wgf.com{
server 192.168.1.98; #真实服务器A(sxwgf-PC)
server 192.168.1.99; #真实服务器B(hzdk-vpc)
}
location / {
root html;
index index.html index.htm;
增加命中结果
proxy_pass http://wgf.com;
proxy_redirect default;
}
2. linux上安装nginx

安装c和c++的编译环境
yum install gcc gcc-c++ -y
由于我们在期间还需要进行初始化配置这一步，所以还需要安装pcre和zlib这两个包：
yum install -y pcre-devel
yum install -y zlib-devel

二、安装
安装过程非常简单我们需要把下载的tar.gz包上传到服务器上，我们默认上传到了/opt 目录，然后使用tar命令进行解压缩：
tar -xvzf nginx-1.14.0.tar.gz
解压完成是这个样子的。然后我们进入解压完成的目录：

cd nginx-1.14.0
然后执行配置的命令：
./configure --prefix=/opt/nginx
其中，prefix后面跟的路径是你想吧代码编译之后放置的位置，默认为/usr/local/nginx，这里我修改了在opt目录下
如果没有装准备过程中的两个插件的话会出现以下错误，导致配置写入失败：这个是没有安装pcre的库这个是缺少zlib的库
安装完即可成功配置。
然后我们进行代码的编译，还是在解压缩之后的这个nginx目录：
make && make install
然后我们会在opt目录下发现新的文件夹：这样我们就安装成功了，现在只要进入sbin目录启动，我们的nginx就可以启动了：
cd nginx/sbin
./nginx
三、配置反向代理有两个服务器，都配置了tomcat，分别是192.168.65.136:8080   和  192.168.65.135:8080     这两个地址，我们首先进入nginx配置文件：
vi /opt/nginx/conf/nginx.conf
然后再http的第一个server块上面写入以下代码：
upstream tomcat_pool  {#server tomcat地址:端口号 weight表示权值，权值越大，被分配的几率越大;server 192.168.65.136:8080 weight=1;server 192.168.65.135:8080 weight=1;
}这样我们的负载均衡后台服务就配置好了，然后我们需要在server中配置一个location进行监听访问，并转发到我们配置的stream上：
location / {proxy_pass http://tomcat_pool;    #转向tomcat处理proxy_redirect     off;#是否跳转proxy_set_header   Host             $host; #请求要转发的hostproxy_set_header   X-Real-IP        $remote_addr;#请求的远程地址    这些在浏览器的header都可看，不一一解释proxy_set_header   X-Forwarded-For  $proxy_add_x_forwarded_for;proxy_next_upstream error timeout invalid_header http_500 http_502 http_503 http_504;proxy_max_temp_file_size 0;proxy_connect_timeout      90; #连接前面的服务器超时时间proxy_send_timeout         90;#请求转发数据报文的超时时间proxy_read_timeout         90;#读取超时时间proxy_buffer_size          4k; # 缓冲区的大小proxy_buffers              4 32k; #proxy_busy_buffers_size    64k; # #proxy_buffers缓冲区，网页平均在32k以下的proxy_temp_file_write_size 64k; ##高负荷下缓冲大小（proxy_buffers*2）
}
然后输入英文 :wq就可以了.
这个时候我们去sbin目录下进行重新启动：
cd /opt/nginx/sbin
./nginx -s reload
就可以看到效果了。
四、nginx配置服务和开机自启
nginx的官网提供了这个配置服务的脚本了，在这个地址：
https://www.nginx.com/resources/wiki/start/topics/examples/redhatnginxinit/
这里我直接粘过来：
#!/bin/sh
#
# nginx - this script starts and stops the nginx daemon
#
# chkconfig:   - 85 15
# description:  NGINX is an HTTP(S) server, HTTP(S) reverse \
#               proxy and IMAP/POP3 proxy server
# processname: nginx
# config:      /etc/nginx/nginx.conf
# config:      /etc/sysconfig/nginx
# pidfile:     /var/run/nginx.pid
# Source function library.
. /etc/rc.d/init.d/functions
# Source networking configuration.
. /etc/sysconfig/network
# Check that networking is up.
[ "$NETWORKING" = "no" ] && exit 0
nginx="/usr/sbin/nginx"
prog=$(basename $nginx)
NGINX_CONF_FILE="/etc/nginx/nginx.conf"
[ -f /etc/sysconfig/nginx ] && . /etc/sysconfig/nginx
lockfile=/var/lock/subsys/nginx
make_dirs() {# make required directoriesuser=`$nginx -V 2>&1 | grep "configure arguments:.*--user=" | sed 's/[^*]*--user=\([^ ]*\).*/\1/g' -`if [ -n "$user" ]; thenif [ -z "`grep $user /etc/passwd`" ]; thenuseradd -M -s /bin/nologin $userfioptions=`$nginx -V 2>&1 | grep 'configure arguments:'`for opt in $options; doif [ `echo $opt | grep '.*-temp-path'` ]; thenvalue=`echo $opt | cut -d "=" -f 2`if [ ! -d "$value" ]; then# echo "creating" $valuemkdir -p $value && chown -R $user $valuefifidonefi
}
start() {[ -x $nginx ] || exit 5[ -f $NGINX_CONF_FILE ] || exit 6make_dirsecho -n $"Starting $prog: "daemon $nginx -c $NGINX_CONF_FILEretval=$?echo[ $retval -eq 0 ] && touch $lockfilereturn $retval
}
stop() {echo -n $"Stopping $prog: "killproc $prog -QUITretval=$?echo[ $retval -eq 0 ] && rm -f $lockfilereturn $retval
}
restart() {configtest || return $?stopsleep 1start
}
reload() {configtest || return $?echo -n $"Reloading $prog: "killproc $nginx -HUPRETVAL=$?echo
}
force_reload() {restart
}
configtest() {$nginx -t -c $NGINX_CONF_FILE
}
rh_status() {status $prog
}
rh_status_q() {rh_status >/dev/null 2>&1
}
case "$1" instart)rh_status_q && exit 0$1;;stop)rh_status_q || exit 0$1;;restart|configtest)$1;;reload)rh_status_q || exit 7$1;;force-reload)force_reload;;status)rh_status;;condrestart|try-restart)rh_status_q || exit 0;;*)echo $"Usage: $0 {start|stop|status|restart|condrestart|try-restart|reload|force-    reload|configtest}"exit 2
esac

我们把这个保存到 /etc/init.d/nginx 文件中

然后需要修改文件中的：
nginx=”/opt/nginx/sbin/nginx” 修改成nginx执行程序的路径。
NGINX_CONF_FILE=”/opt/nginx/conf/nginx.conf” 修改成配置文件的路径。
然后需要把这个文件变为可执行文件：
chmod 775 /etc/init.d/nginx
这样这个文件就是可执行文件了，这个时候我们需要把这个文件加入chkconfig进行管理：
chkconfig --add /etc/init.d/nginx
这个时候我们就可以用service 命令进行nginx的操作了。
最后我们需要让chkconfig配置nginx为开机自动启动模式：
chkconfig --level 3 nginx on
这样就搞定了。

go-fastdfs相关推荐

Nignx集成fastDFS后访问Nginx一直在加载中解决
问题描述: Nginx集成fastDFS后,访问Nginx一直在加载中,得不到页面.查看Nginx的错误日志: 可以看到是fastdfs.conf的配置错误,tracker的ip没有修改: fastd ...
fastdfs java client_fastdfs-client-java操作fastdfs5.0.4
一.在外链网址已屏蔽下载客户端,解压后并执行ant命令,在E:\tools\libs\fastdfs\fastdfs-client-java-master\src\build下会生成fastdfs_ ...
FastDFS为什么要结合Nginx？
为什么选择Nginx Nginx 是一个很牛的高性能Web和反向代理服务器, 它具有有很多非常优越的特性: 在高连接并发的情况下,Nginx是Apache服务器不错的替代品: Nginx在美国是做虚拟 ...
FastDFS安装与使用
安装注意要修改:/etc/fdfs/client.conf vim /etc/fdfs/client.conf base_path=/home/yuqing/fastdfs 修改为: base_pat ...
分布式文件系统（FastDFS）安装配置
[TOC] 百度百科: FastDFS是一个开源的轻量级分布式文件系统,它对文件进行管理,功能包括:文件存储.文件同步.文件访问(文件上传.文件下载)等,解决了大容量存储和负载均衡的问题.特别适合以文 ...
分布式存储fastdfs安装使用
1.下载地址https://github.com/happyfish100/fastdfs https://github.com/happyfish100/fastdfs/wiki安装辅助说明文档 2 ...
FastDFS之Linux下搭建
1.软件环境 CentOS6.5 FastDFS v5.05 libfastcommon- - master.zip(是从 FastDFS 和 FastDHT 中提取出来的公共 C 函数库) fast ...
手机号码格式验证和 FASTDFS 工具类
常见大陆和香港号码格式验证 import java.util.regex.Matcher; import java.util.regex.Pattern; import java.util.regex ...
Docker + FastDFS + Spring Boot 一键式搭建分布式文件服务器
点击上方蓝色"方志朋",选择"设为星标"回复"666"获取独家整理的学习资料! 首先说一下从零开始自己去搭一个fastdfs挺麻烦,后来看到 ...
第三章、一文告诉你FastDFS分布式如何部署
上一章节介绍了FastDFS的单机部署和使用,但是实际上的场景中不可能只用单机来做,更多的时候是采用集群部署,那么本章就带大家进入集群部署的研究. 1.准备环境我这里采用7台,当然你 ...

go-fastdfs

go-fastdfs相关推荐

最新文章

热门文章