分布式文件系统之Fastdfs是什么?
Fastdfs
概念:
是一款类似Google FS的开源分布式文件系统,是纯C语言开发的。
FastDFS是一个开源的轻量级分布式文件系统,它对文件进行管理,功能包括:文件存储、文件同步、文件访问(文件上传、文件下载)等,解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务,如相册网站、视频网站等等。
FastDFS是专为互联网应用量身定做,目的是追求高性能和高拓展性。它可以看做是基于文件的key value pair存储系统,称作分布式文件存储服务更为合适。
官方论坛 http://bbs.chinaunix.net/forum-240-1.html
架构设计:
在FastDFS有三种角色,第一种是Client客户端,第二种是Tracker追踪服务器,第三种就是Storage存储服务器。其中Client客户端就是官方提供的C、Java和PHP的调用API,这里后面会讲到。而对于追踪服务器和存储服务器我们这里详细介绍一下。
关于存储服务器,是采用分组的方式,同一个组内的服务器的文件是完全相同的(利用同步线程进行同步),组和组之间是不通信的。而存储服务器会主动定期向追踪服务器报告目前的状态,追踪服务器可以有多个,多个之间是对等的,不存在主从。
关于客户端,是不需要存储有关存储服务器的任何信息的。一般用户的请求不是直接请求存储服务器,而是会请求追踪服务器。例如一个客户端需要上传文件,此时追踪服务器就会从存储服务器中找出一个组分配给客户端,供其上传文件,此时客户端拿到组的信息后,开始直接和存储服务器的这个组进行交互,无需再通过追踪服务器进行中转。
即:
Tracker Servre:追踪服务器,主要做调度工作,在访问中起负载均衡的作用。在内存中记录集群中group和storage server的状态信息,是连接Client和Storage的枢纽。因为相关信息全部在内存中,Tracker server的性能非常高,一个比较大的集群(比如上百个group)中有三台就足够了。
Storage Server:存储服务器,文件和文件属性(meta data)都保存在存储服务器上。
部署方式:
一台跟踪器 俩台存储节点
扩展存储服务器
使用方法:
上传机制:
- Storge定时向tracker上传状态信息
- Client向trackClient发送上传请求
- trackClient查询可用的storge
- trackClient返回给client信息storge的ip和端口
- Client根据信息向之低昂的StorgeServer上传文件
- StrogeServer生成file_id,将上传的内容写入到磁盘中
- StorgeServer向Client返回File_id(路径信息,和文件名)
- Client存储文件信息
下载机制:
1)Client 询问tracker 下载文件的storage , 参数为文件标识( 卷名和文件名 )
2)tracker 返回一台可用的storage
3)client 直接和storage 通讯完成文件下载
应用场景:
FastDFS适合的存储范围为4KB至500M之间,它更倾向于存储中小型文件,如图片网站、短视频网站、文档、app下载站等。
FastDFS的用户有支付宝、京东、赶集网、58同城、UC、51CTO和一些网盘公司,可以说目前用到FastDFS的公司特别多,因为移动互联网的兴起,一些短视频、电子书、小音频和一些app,都在十几兆或者一两百兆左右,使用FastDFS十分合适。
分布式文件系统之Fastdfs是什么?相关推荐
- 从入门到精通(分布式文件系统架构)-FastDFS,FastDFS-Nginx整合,合并存储,存储缩略图,图片压缩,Java客户端
从入门到精通-分布式文件系统架构-FastDFS,FastDFS-Nginx整合,合并存储,存储缩略图,图片压缩,Java客户端 一.FastDFS介绍 二.流程图 FastDFS架构原理分析(重点) ...
- 分布式文件系统(FastDFS)安装 配置
[TOC] 百度百科: FastDFS是一个开源的轻量级分布式文件系统,它对文件进行管理,功能包括:文件存储.文件同步.文件访问(文件上传.文件下载)等,解决了大容量存储和负载均衡的问题.特别适合以文 ...
- 1 CentOS 6下FastDFS实现分布式文件系统
FastDFS FastDFS是用c语言编写的一款开源的分布式文件系统.FastDFS为互联网量身定制,充分考虑了冗余备份.负载均衡.线性扩容等机制,并注重高可用.高性能等指标,使用FastDFS很容 ...
- 【FastDFS】如何打造一款高可用的分布式文件系统?这次我明白了!!
写在前面 前面我们学习了如何基于两台服务器搭建FastDFS环境,而往往在生产环境中,需要FastDFS做到高可用,那如何基于FastDFS打造一款高可用的分布式文件系统呢?别急,今天,我们就一起来基 ...
- FastDFS图片服务器(分布式文件系统)学习。
参考:https://blog.csdn.net/hiqingtian/article/details/79413471 https://blog.csdn.net/sinat_40399893/ar ...
- FastDFS - 快速的分布式文件系统
FastDFS 什么是FastDFS fast distributed file system(快速的分布式文件系统) FastDFS是用c语言编写的一款开源的分布式文件系统.它对文件进行管理,功能包 ...
- FastDFS分布式文件系统_Linux
文章目录 一.分布式文件系统概述 1.单机时代 2.独立文件服务器 3.分布式文件系统 4.FastDFS 5.FastDFS核心概念 6.上传机制 7.下载机制 二.分布式文件系统实践 1.环境搭建 ...
- 分布式文件系统FastDFS的搭建
FastDFS分布式文件系统说明 FastDFS 是以C语言开发的一项开源轻量级分布式文件系统,他对文件进行管理,主要功能有:文件存储,文件同步,文件访问(文件上传/下载),特别适合以文件为载体的在线 ...
- 分布式文件存储FASTDFS
分布式文件存储FASTDFS 目录 概 述 小结 参考资料和推荐阅读 LD is tigger forever,CG are not brothers forever, throw the pot a ...
最新文章
- ORB_SLAM2回环检测
- 皮一皮:这年头,没看过火影还没法做医生了...
- 完整叙述html的语法结构,html article介绍与语法结构
- Nodejs 中的Get、Post
- 2022年中国美妆护肤品行业投资研究报告
- 网站检测之防注入绕过的十一种技巧
- java之插入排序算法
- [Linux]Linux系统调用列表
- 无错版Vsftpd Mysql Pam设置虚拟用户要领
- Evernote CEO给想做长久公司创业者的3个建议
- Java代码实现“年-月-日 上午/下午时:分:秒”
- [3月25日]《编辑部的外传》
- css权威指南——link
- java网上书店系统_基于Java的网上书店管理系统
- linux操作系统结构体系,Linux操作系统结构分析 郭玉东.pdf
- 有实用简单的PS小技巧吗?下面几个小技巧你知道几个呢?
- Win7系统连接服务器经常掉线,win7网络经常掉线怎么办 win7网络不稳定如何解决...
- 任务栏-IDEA图标变白色
- VirtualXposed框架里点权限管理-XPrivacyLua下载安装失败
- 最新公路测量计算机,公路施工测量坐标计算系统