分布式文件系统研究-什么是分布式文件系统
什么是分布式文件系统
引用“百度百科”中的描述:
为什么会有分布文件系统呢?
分布式文件系统是面对互联网的需求而产生,互联网时代对海量数据如何存储?靠简单的增加硬盘的个数已经满足不了我们的要求,因为硬盘传输速度有限但是数据在急剧增长,另外我们还要要做好数据备份、数据安全等。
采用分布式文件系统可以将多个地点的文件系统通过网络连接起来,组成一个文件系统网络,结点之间通过网络进行通信,一台文件系统的存储和传输能力有限,我们让文件在多台计算机上存储,通过多台计算共同传输。如下图:
好处:
1、一台计算机的文件系统处理能力扩充到多台计算机同时处理。
2、一台计算机挂了还有另外副本计算机提供数据。
3、每台计算机可以放在不同的地域,这样用户就可以就近访问,提高访问速度。
主流的分布式文件系统
1、NFS
1)在客户端上映射NFS服务器的驱动器。
2)客户端通过网络访问NFS服务器的硬盘完全透明。
2、GFS
1)GFS采用主从结构,一个GFS集群由一个master和大量的chunkserver组成。
2)master存储了数据文件的元数据,一个文件被分成了若干块存储在多个chunkserver中。
3)用户从master中获取数据元信息,从chunkserver存储数据。
3、HDSF
1)HDFS采用主从结构,一个HDFS集群由一个名称结点和若干数据结点组成。
名称结点存储数据的元信息,一个完整的数据文件分成若干块存储在数据结点。
2)客户端从名称结点获取数据的元信息及数据分块的信息,得到信息客户端即可从数据块来存取数据。
分布式文件服务提供商
1)阿里的OSS
2)七牛云存储
3)百度云存储
分布式文件系统研究-什么是分布式文件系统相关推荐
- 分布式文件系统研究-什么是文件系统
什么是文件系统 引用"百度百科"中的描述: 总结:文件系统是负责管理和存储文件的系统软件,它是操作系统和硬件驱动之间的桥梁,操作系统通过文件系统提供的接口去存取文件,用户通过操作系 ...
- 分布式文件系统研究-fastDSF架构介绍
什么是fastDFS fastDSF介绍 FastDFS是用c语言编写的一款开源的分布式文件系统,它是由淘宝资深架构师余庆编写并开源.FastDFS专为互联网量身定制,充分考虑了冗余备份.负载均衡.线 ...
- 分布式文件系统研究-技术应用场景
技术应用场景 拥有大量优质的视频教程,并且免费提供给用户去下载,文件太多如何高效存储?用户访问量大如何保证下载速度?今天讲解的分布式文件系统将解决这些问题. 分布式文件系统解决了海量文件存储及传输访问 ...
- 分布式文件系统研究-搭建图片服务虚拟主机
搭建图片虚拟主机 在storage上安装Nginx 在 storage server 上安装 nginx 的目的是对外通过 http 访问 storage server 上的文 件.使用 nginx ...
- 分布式文件系统研究-测试-文件下载测试
文件下载 package com.learn.test.fastdfs;import org.csource.common.MyException; import org.csource.fastdf ...
- 分布式文件系统研究-测试-上传文件测试
文件上传 package com.learn.test.fastdfs;import org.csource.common.MyException; import org.csource.fastdf ...
- 分布式文件系统研究-测试-搭建测试环境
搭建环境 这里我们使用javaApi测试文件的上传,java版本的fastdfs-client地址在: https://github.com/happyfish100/fastdfs-client-j ...
- 分布式文件系统研究-fastDFS安装及配置文件说明
fastDFS安装 如果想自己尝试安装fastDSF也可以按照文档一步一步安装. tracker和storage使用相同的安装包,fastDFS的下载地址在:https://github.com/ha ...
- 分布式文件系统研究-fastDSF文件上传和下载流程
文件上传流程 客户端上传文件后存储服务器将文件ID返回给客户端,此文件ID用于以后访问该文件的索引信息.文件索引信息包括:组名,虚拟磁盘路径,数据两级目录,文件名. 组名:文件上传后所在的storag ...
最新文章
- 用脑机接口去“搜索一下”,是种什么体验? | CCF C³-03@搜狗
- 零基础学习Java,全方位知识点总结!
- Google Chrome input 设置 line-height 后光标变得和input一样高
- EF Core 2.0使用MsSql/Mysql实现DB First和Code First
- 向后台接口传递FormData格式的数组对象
- cpu频率_新版win10修复CPU频率显示不正确的bug
- 28岁程序员狂赚上亿宣布退休,网友:这就是命!
- 三层嵌套gridview 的折叠展开
- springboot templates读取不到_精通 Spring Boot 系列 04
- 蓝桥杯题目练习(加法运算)
- Python-Data-Science-Toolbox-Part-1
- 四川双流高中2021高考成绩查询,超全!2019四川各地高中高考喜报汇总!
- OpenGL 4 : 一个漂亮的心 For you, My Love
- CD19药物|适应症|市场销售-上市药品前景分析
- 北邮数据库实验7mysql_北邮大三下第7次数据库实验报告--mysql
- HTML,css和JavaScript的基础学习—css篇
- crh寄存器_STM32 学习笔记(寄存器)---2
- 针对上网本和便携式设备的第一批MeeGo构架
- python第二版课后习题答案_《python核心编程第二版》课后习题6-12答案
- 计算机清理垃圾代码,让你电脑快速开机清除系统垃圾运行批处理源代码
热门文章
- Java 集合 ArrayList 需要知道的几个问题
- C# 页面调用控制台应用程序
- 异常记录与处理-Cannot find class [org.apache.commons.dbcp.BasicDataSource]
- 使用PHP发送邮件的两种方法
- JavaScript 的性能优化:加载和执行
- 看到了一个 蒙特卡洛方法 随机数得出 圆周率的c++ 源码
- 在springboot中使用springsecurity实现安全控制
- 错误 LINK : fatal error LNK1158: 无法运行“rc.exe”
- mysql数据库引擎InnoDB和MyISAM的区别
- Hadoop生态圈-Hbase的rowKey设计原则