读Google三篇论文有感
读Google三篇论文有感
在这一个星期内，我认真读了谷歌的三篇重要论文，下面是我的读后感。这三篇论文分别是Google FS、MapReduce、Bigtable。Google没有公布这三个产品的源码，但是论文里面非常详细的介绍了设计思想及功能实现，奠定了大数据算法的基础。因为理解能力有限，所以只能非常浅显的谈一下我的感受。
一．GFS
我觉得Google的设计思想是顺应时代的发展和要求，随着社会发展，人口的增多，我们需要处理更多的数据。Google GFS 文件系统，是一个面向大规模数据密集型应用的、可伸缩的分布式文件系统，我们知道GFS是运行在低性能的电脑上，运行过程中会出现许多问题，比如各种bug、人为的失误，硬盘损坏、网络中断以及电源失效等问题，所以问题监测，灾难冗余以及自动恢复的机制是GFS的优点之一。GFS的存储方法更加优秀，存储的文件被分为固定大小的块Chunk，一个单独的Master节点与多台Chunk服务器联系，客户端只向Master请求元数据，其他操作都是直接和Chunk通信交流。另外，我觉得GFS的心跳机制设计的真的很好，使用心跳信息周期性地和每个Chunk服务器通讯，检测它们的状态，说白了就是看它们是否还活着，这种机制是对文件对客户的一种保证。
二、MapReduce
MapReduce是处理和生成超大数据集的一个算法编程模型。模型分为Map（映射），Reduce（归并）两部分，Map函数是一个处理key/value键值对的数据集合的过程，Reduce函数是将它们合并的过程。数据文件被拆分成多块，master将数据发给worker进行读取，然后做Reduce函数处理。例如有两副扑克牌，分给5个人，每个人数出自己手上有几张红心，这是Map函数的工作，而Reduce函数则将这5个人数出的结果合并后输出。同时几百甚至几千台普通的廉价设备并行处理增加了容错率，也大大减少了处理时间。
三、Bigtable
BigTable是一个分布式，结构化数据的存储系统，它用来存储海量数据。每个Table都是一个多维的稀疏图，Table由行和列组成，每个存储单元都有一个时间戳，记录数据变动情况。这种列式存储广泛应用在搜索引擎，不关心具体内容，只需要查出与你关键字匹配的索引。BigTable用GFS来存储日志和数据文件，按SSTable文件格式存储数据，用Chubby管理元数据。
总之，GFS是文件系统，MapReduce是计算模型，BigTable是存储系统，三者互相关联。当然了，想要更深层次的理解需要一个积累的过程，现在网络资源丰富，要把握时代，在听老师授课之外更多的是自己的理解，放宽视野，几率知识，不断学习。
读Google三篇论文有感相关推荐
- 看google三篇论文的感触
刚开始看老师推荐的三篇Google的技术论文(分别是GFS,Mapreduce,Bigtable)时,基本上是云里雾里,摸不着头尾.于是我结合网上查询的资料,对于这些论文讲述的一些知识有了一定的了解. ...
- google三篇论文之GFS
Google在03至06年发表了著名的三大论文--GFS.BigTable.MapReduce,用来实现一个大规模的管理计算系统. 今天先来谈谈GFS.因为论文里大段大段的文字加上专业术语读起来对我来 ...
- 分布式系统与 Google 早期的三篇论文
版本号 修改时间 修订人 修改备注 1.0 2019-10-30 汐雪池间 初稿 Google 在 2003~2006 年间发表的三篇论文为今天 Hadoop 大数据生态的发展奠定了技术基础,工程师利 ...
- Google引爆大数据时代的三篇论文
Google引爆大数据时代的三篇论文 谈到Hadoop的起源,就不得不提Google的三驾马车:Google FS.MapReduce.BigTable.虽然Google没有公布这三个产品的源码,但是 ...
- NLP能否像人脑一样工作？CMU、MIT三篇论文详解机器和大脑范畴下NLP的关系
本文转载自公众号机器之心 作为计算机科学领域与人工智能领域的重要研究课题,自然语言处理已经在各领域展开了广泛的研究与探讨.随着研究的深入,一些学者开始探讨机器中的自然语言处理和大脑中的自然语言处理是否 ...
- 【Hadoop】谷歌的三篇论文（GFS、MapReduce分布式计算模型 、BigTable大表）
谷歌的三篇论文(GFS.MapReduce分布式计算模型 .BigTable大表) 0 谷歌的基本思想:三驾马车 1 第一篇论文:GFS 1.1 Google的GFS分布式文件系统的基本原理 1.2 ...
- 批训练、注意力模型及其声纹分割应用，谷歌三篇论文揭示其声纹识别技术原理
声纹识别技术在谷歌的诸多产品中有着重要应用.除了安卓手机目前所独有的声纹解锁功能外,谷歌的家庭语音助手 Google Home 也能通过声纹识别支持多用户模式,从而针对不同用户提供个性化服务.当你向 ...
- 谷歌三篇论文（GFS,MapReduce,BigTable）
Google引爆大数据时代的三篇论文 谈到Hadoop的起源,就不得不提Google的三驾马车:Google FS.MapReduce.BigTable.虽然Google没有公布这三个产品的源码,但是 ...
- 三篇论文入选国际顶会SIGMOD，厉害了腾讯云数据库
好消息!6月13日,腾讯云数据库三篇论文再次入选数据库行业顶会SIGMOD,被SIGMOD 2022 Research Full Paper(研究类长文)收录. 本次被收录的研究成果中,新型数据结构设 ...
最新文章
- mysql 二进制日志后缀数字最大为多少
- 试试回答Frankyang的问题-什么样的人适合攻读博士学位?
- nyoj-138-找球号（二）----hash算法之除留余数法+vector
- JTable设置列宽、自动调整
- 牛逼！ IDEA 2020 要本土化，真的是全中文了！
- EdgeRouter X设置外网远程访问和HTTPS连接指定出口网关
- 共享可写节包含重定位_理解重定位
- linux 学习 vi简介； vi下三种工作方式。
- 如何解决mac在访达里不可以新建txt文本的问题？
- 新手如果写一个软件，应该是怎么一个流程？
- Java的图片处理工具类(放缩、切割、水印等)
- DZ先生怪谈国标之视音频文件检索
- html5 lang属性都有哪些语言,HTML5中的lang属性，zh
- win10一直显示正在更新怎么关闭计算机,Win10自动更新关不掉？原来就少这么一步...
- 竞赛资讯|A股上市公司季度营收预测
- H5打造属于自己的视频播放器（JS篇1）
- 基于51单片机点阵汉字显示程序设计
- 快速幂 蒙格马利算法
- Win10系统无法使用管理员账户启动应用解决方法
- cocos creator 3d 3.0《懒猫跑酷》 实战开发教程