2019独角兽企业重金招聘Python工程师标准>>>

分布式文件系统

GFS以及 FastDFS、mogileFS、HDFS、TFS等类GFS系统都不是系统级的分布式文件系统，而是应用级的分布式文件存储服务。

Google学术论文有 ：

Google File System（大规模分散文件系统）
MapReduce （大规模分散FrameWork）
BigTable（大规模分散数据库）
Chubby（分散锁服务）
一般你搜索Google_三大论文中文版(Bigtable、 GFS、 Google MapReduce)就有了。

做个中文版下载源：

http://dl.iteye.com/topics/download/38db9a29-3e17-3dce-bc93-df9286081126

做个原版地址链接：

http://labs.google.com/papers/gfs.html

http://labs.google.com/papers/bigtable.html

http://labs.google.com/papers/mapreduce.html

本地下载 ：  Google_三大论文中文版.pdf

GFS（Google File System）
--------------------------------------
Google公司为了满足本公司需求而开发的基于Linux的专有分布式文件系统。。尽管Google公布了该系统的一些技术细节，但Google并没有将该系统的软件部分作为开源软件发布。
下面分布式文件系统都是类 GFS的产品。
HDFS
--------------------------------------
Hadoop 实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。 Hadoop是Apache Lucene创始人Doug Cutting开发的使用广泛的文本搜索库。它起源于Apache Nutch，后者是一个开源的网络搜索引擎，本身也是Luene项目的一部分。Aapche Hadoop架构是MapReduce算法的一种开源应用，是Google开创其帝国的重要基石。
Ceph
---------------------------------------
是加州大学圣克鲁兹分校的Sage weil攻读博士时开发的分布式文件系统。并使用Ceph完成了他的论文。

MogileFS
---------------------------------------
由memcahed的开发公司danga一款perl开发的产品，目前国内使用mogielFS的有图片托管网站yupoo等。
MogileFS是一套高效的文件自动备份组件，由Six Apart开发，广泛应用在包括LiveJournal等web2.0站点上。
MogileFS由3个部分组成：
第1个部分是server端，包括mogilefsd和mogstored两个程序。前者即是 mogilefsd的tracker，它将一些全局信息保存在数据库里，例如站点domain,class,host等。后者即是存储节点(store node)，它其实是个HTTP Daemon，默认侦听在7500端口，接受客户端的文件备份请求。在安装完后，要运行mogadm工具将所有的store node注册到mogilefsd的数据库里，mogilefsd会对这些节点进行管理和监控。
第2个部分是utils（工具集），主要是MogileFS的一些管理工具，例如mogadm等。
第3个部分是客户端API，目前只有Perl API(MogileFS.pm)、PHP，用这个模块可以编写客户端程序，实现文件的备份管理功能。

Lustre
---------------------------------------
Lustre是一个大规模的、安全可靠的，具备高可用性的集群文件系统，它是由SUN公司开发和维护的。
该项目主要的目的就是开发下一代的集群文件系统，可以支持超过10000个节点，数以PB的数据量存储系统。

目前Lustre已经运用在一些领域，例如HP SFS产品等。
FastDFS
---------------------------------------
是一款类似Google FS的开源分布式文件系统，是纯C语言开发的。
FastDFS是一个开源的轻量级分布式文件系统，它对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务，如相册网站、视频网站等等。
官方论坛
http://bbs.chinaunix.net/forum-240-1.html
FastDfs google Code
http://code.google.com/p/fastdfs/
分布式文件系统FastDFS架构剖析
http://www.programmer.com.cn/4380/

TFS
-------------------------------------
TFS（Taobao !FileSystem）是一个高可扩展、高可用、高性能、面向互联网服务的分布式文件系统，主要针对海量的非结构化数据，它构筑在普通的Linux机器 集群上，可为外部提供高可靠和高并发的存储访问。TFS为淘宝提供海量小文件存储，通常文件大小不超过1M，满足了淘宝对小文件存储的需求，被广泛地应用 在淘宝各项应用中。它采用了HA架构和平滑扩容，保证了整个文件系统的可用性和扩展性。同时扁平化的数据组织结构，可将文件名映射到文件的物理地址，简化 了文件的访问流程，一定程度上为TFS提供了良好的读写性能。
官网 ：  http://code.taobao.org/p/tfs/wiki/index/
GridFS文件系统
-------------------------------------
MongoDB是一种知名的NoSql数据库，GridFS是MongoDB的一个内置功能，它提供一组文件操作的API以利用MongoDB存储文件，GridFS的基本原理是将文件保存在两个Collection中，一个保存文件索引，一个保存文件内容，文件内容按一定大小分成若干块，每一块存在一个Document中，这种方法不仅提供了文件存储，还提供了对文件相关的一些附加属性（比如MD5值，文件名等等）的存储。文件在GridFS中会按4MB为单位进行分块存储。

MongoDB GridFS 数据读取效率 benchmark
http://blog.nosqlfan.com/html/730.html

转载于:https://my.oschina.net/abcwj111/blog/95623

多种分布式文件系统简介相关推荐

  1. 2021年大数据Hadoop（七）：HDFS分布式文件系统简介

    2021大数据领域优质创作博客,带你从入门到精通,该博客每天更新,逐渐完善大数据各个知识体系的文章,帮助大家更高效学习. 有对大数据感兴趣的可以关注微信公众号:三帮大数据 目录 HDFS分布式文件系统 ...

  2. GFS分布式文件系统简介及部署——让存储变得更高级

    GFS分布式文件系统简介及部署 一.GFS概述 1.文件系统 ①.文件系统组成 ②.文件系统的作用 ③.专业术语 二.GFS特点 三.GFS工作原理 四.GFS卷 1.GFS卷类型 2.三大基本卷的特 ...

  3. hadoop分布式文件系统_Hadoop分布式文件系统简介

    hadoop分布式文件系统 HDFS是Apache Software Foundation项目和Apache Hadoop项目的子项目(请参阅参考资料 ). Hadoop是存储诸如TB和PB之类的大量 ...

  4. MFS分布式文件系统（一) ——MFS简介+部署+使用

    分布式文件系统简介 分布式文件系统是指文件系统管理的物理存储资源,不一定在本地节点上,而是通过网络与节点相连. 就是把一些分散的(分布在局域网内各个计算机上)共享文件夹,集合到一个文件夹内(虚拟共享文 ...

  5. Ceph分布式文件系统集群搭建详解

    1.Ceph分布式文件系统简介 Ceph是一种为优秀的性能.可靠性和可扩展性而设计的统一的.分布式文件系统. Ceph 独一无二地在一个统一的系统中同时提供了对象.块.和文件存储功能. 基开发目标是: ...

  6. Hadoop分布式文件系统 (HDFS)

    Hadoop分布式文件系统 简介 ​ HDFS(Hadoop distribute file system) 是Hadoop核心组成,是分布式存储服务 ​ 分布式文件系统能够横跨多态计算机.在大数据时 ...

  7. 如果要设计个分布式文件系统，该从哪些方面考虑?

    点击上方 Java后端,选择 设为星标 优质文章,及时送达 作者:张轲1983 链接:www.jianshu.com/p/fc0aa34606ce 一.概述 分布式文件系统是分布式领域的一个基础应用, ...

  8. 主流分布式文件系统选型，写得太好了！

    上一篇:深夜看了张一鸣的微博,让我越想越后怕 作者:张轲1983 来源:https://www.jianshu.com/p/fc0aa34606ce 一.概述 分布式文件系统是分布式领域的一个基础应用 ...

  9. 主流分布式文件系统对比

    点击下方公众号「关注」和「星标」 回复"1024"获取独家整理的学习资料! 本文较长,建议细细品读,必有不同的收获. 一.概述 分布式文件系统是分布式领域的一个基础应用,其中最著名 ...

最新文章

  1. 用Python让蔡徐坤在我的命令行里打篮球！|附完整代码
  2. Boost：BOOST_VERIFY_MSG扩展的用法测试程序
  3. 分析函数RANK的使用
  4. Android开发之解决ListView和ScrollView滑动冲突的方法
  5. python并发运行
  6. 安装Mirantis OpenStack Fuel 9.0
  7. 数值分析方程求根实验matlab,基于matlab的数值分析( 非线性方程求根)上机实验报告1...
  8. C++基础::关于区间端点的问题
  9. oracle中同义词总结,ORACLE同义词总结
  10. 了解Spring的变迁从Spring3到Spring5
  11. git lfs linux,GIT LFS 使用笔记
  12. Unity下SpriteSheet 使用
  13. 一篇文章带你更深入了解区块链有哪些应用？
  14. 微信开发上传视频到服务器,微信小程序中实现上传视频的开发代码
  15. python-电脑调用手机摄像头
  16. 基于CentOs下的Hadoop完全分布式集群环境搭建
  17. 【linux】循序渐进学运维-基础篇-修复文件系统实战
  18. Android关于适配的相关知识。
  19. 自动化立体库能力分析——堆垛机（单深单货位Case1，双循环）
  20. 四、PCI总线上的数据传输过程

热门文章

  1. 如何对局域网内的无线设备进行管理和流控？
  2. Jmeter接口测试进阶
  3. open-v-p-n原理解读及实例服务部署
  4. 使用图形工具管理Server Core上的账号和组
  5. LAMP 啟動 WWW 服務與測試 PHP 模組
  6. python数字的鲁棒输入_请教关于python的手写数字识别神经网络问题~~~~
  7. JavaSE基础知识（5）—面向对象（5.2类的成员）
  8. webpack为什么加载不了css？
  9. 使用libjpeg.framework压缩UIImage
  10. 第二周课堂小结以及习题思考