Google File System 学习笔记

GFS翻译：https://www.cnblogs.com/cxxjohnson/p/4984309.html

一、GFS架构：

二、保存文件的方式

1、保存小文件：磁盘中分块，每个block大小为1024Byte,每个文件的索引由块号+偏置组成

2、保存大文件：把block换成chunk,每个chunk为64MB.

3、保存超大数据：把chunk放在不同的chunk服务器上，有一个Master服务器存放所有chunk所在的ChunkServer编号。每个chunkserver保存每个chunk在其中的偏移量。

三、ChunkServer和Master服务器

1、如何发现数据损坏

每一个block都保存32bit校验信息

2、减少ChunkServer挂掉带来的损失

保存额外两个chunk副本
选择硬盘利用率低的但是不能把新的chunk都写在一个硬盘上，避免形成热点
2+1:跨数据中心，在一个数据中心中放在不同的机架上

3、chunkserver损坏的解决方法：

向master报告损坏的数据块
master返回其他副本的chunkserver号
向最近的副本请求受损chunk

4、如何发现chunkserver挂掉

心跳：定时向master报告存活

5、应对热点

四、读文件过程

五、写文件过程

向Master询问chunkserver位置
向最近的chunkserver写文件
chunkserver之间高速同步（只写在cache里）
由主chunkserver发出写命令
副本通知主chunkserver写成功
通知应用写成功

转载于:https://www.cnblogs.com/pihaochen/p/10968387.html

Google File System 学习笔记相关推荐

The Google File System（GFS）学习笔记
文章目录引子 GFS的架构读数据写数据流水线式的网络数据传输记录追加总结引子这篇文章是我学习极客时间徐文浩老师的<大数据经典论文解读>课程的学习笔记,大量的文字和图片来自专 ...
转：经典论文翻译导读之《Google File System》
首页所有文章资讯 Web 架构基础技术书籍教程 Java小组工具资源 - 导航条 -首页所有文章资讯Web架构基础技术书籍教程Java小组工具资源经典论文翻译导读之<Google ...
经典论文翻译导读之《Google File System》
[译者预读] GFS这三个字母无需过多修饰,<Google File System>的论文也早有译版.但是这不妨碍我们加点批注.重温经典,并结合上篇Haystack的文章,将GFS.TFS ...
三分钟带你弄懂GFS（Google File System）
提示:预计阅读时间三分钟,该文章仅对GFS做了一的简略介绍,细节方面建议阅读原文. 文章目录前言一.GFS是什么? 1.1 简单介绍 1.2 我们为什么需要阅读GFS的论文? 1.3 GFS论文对 ...
【转】The Google File System 中文版
原文链接 http://www.cnblogs.com/lijunjie/archive/2011/03/08/1976660.html#top 摘要我们设计并实现了Google GFS文件系统,一 ...
GFS架构启示 | Google File System
第一篇,GFS(Google File System)架构启示. GFS是什么? Google早期研发的分布式文件系统. 画外音:与分布式文件系统对应的,是单机文件系统,Windows和Linux操作 ...
GFS - The Google File System
The Google File System http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.125.789&rep=rep1 ...
Google File System设计方面的问题汇总
1.Google File System概述 google file system是一个分布式文件系统,针对的是数据密集型应用,提供容错功能,运行在低廉的服务器上,同时给大量的用户提供高性能服务.尽管 ...
The Google File System
摘要我们设计并实现了Google GFS文件系统,一个面向大规模数据密集型应用的.可伸缩的分布式文件系统.GFS虽然运行在廉价的普遍硬件设备上,但是它依然了提供灾难冗余的能力,为大量客户机提供了高性 ...