谷歌云计算机,google云计算的三大核心技术

google云计算的三大核心技术

google云计算的三大核心技术：GFS，MapReduce，BigTable

GFS: 分布式文件系统。

适用于TB级超大文件存储。master节点是文件管理的大脑，负责存储和管理文件与物理块的映射，维护metafile，处理临时文件，调度chunk server等。chunk server是真正存储物理文件块。GFS定位于由廉价服务器构成的超大集群，假定单个服务器存储是不可靠地，易失的，因此GFS强调冗余和备份。每份文件块会同时存储于多个不同的chunk server。上层客户请求文件时，首先与master节点交互，获取相关信息，随后client将直接与相应的某个chunk server通信并获取文件。在开源产品中类似实现有HDFS。

MapReduce：并行计算的核心技术框架。

使得上层应用软件可以专注于业务逻辑实现，同时利用到分布式并行计算的好处。Map接受和输出属性-值对，使得各节点工作进程可以并行计算它们的属性-值，并输出中间结果；Reduce化简，输入Map处理的中间结果，进行合并运算，最终输出结果文件，返回给上层应用。一个典型案例：编写一个应用对图书馆过去50年的文献，统计最大词频。MapReduce可以做的是，自动分割输入文件集合(任务分解)，自动在多节点上克隆运算进程(map进程组和reduce进程组)，并分别指派任务，最终映射和化简都完毕后，将处理结果文件返回给原始客户应用 --- 对上层应用很好的屏蔽了并行计算。在开源实现中，对应有Hadoop。

BigTable：分布式的、稀疏的、多维的、易于扩展的、适用于海量数据的数据库。

它是非关系型数据库，尽管也沿用如表、行等传统概念。他的实质是key-value记录的集合。多维是说key有多个：行、列以及时间。稀疏是因为不同行的列可以完全不同。表、行可以自动分裂从而扩展。相同属性的列组成列族。相比而言，BigTable适合海量存储和非结构化数据(比如网络流量、多媒体、网页、日志等)，操作大多数为读取和查询。而传统关系型数据库则易于实现复杂的结构化DML操作。典型案例是网页的存储：以反向URL为key，网页内容以及引用为列，同时网页更新的时间标记作为另一个键。开源实现类似的有HBase，HyperTable等。

作者：全能程序猿

链接：https://www.jianshu.com/p/b9c25fd03034

谷歌云计算机,google云计算的三大核心技术相关推荐

Android之用HttpURLConnection断点下载谷歌云存储(google cloud storage)文件
1 需求在Android app里面实现断点下载谷歌云存储(google cloud storage)文件,也就是说用户下载谷歌云存储(google cloud storage)文件的时候可以暂停下 ...
学校云计算机室,云计算实训室简介
云计算技术作为IT行业未来发展趋势,同时作为国家重点发展产业,正处在高速发展时期,人才需求已凸显.然而,目前云计算人才培养体系还处在初级阶段,相关专业人才缺口巨大.因此,学院在2015年投入100余万 ...
ubuntu使用gdown下载谷歌云盘(google drive)文件
参考:[小教程]Ubuntu gdown下载Google Drive文件安装gdown: git clone https://github.com/wkentaro/gdown.git cd gdo ...
云计算机概念,云计算是什么意思？
云计算是分布式计算的一种,通过网络"云"将巨大的数据计算处理程序分解成无数个小程序,然后,通过多部服务器组成的系统进行处理和分析这些小程序得到结果并返回给用户.现阶段的云服务已是分 ...
谷歌云定下全球TOP 1“小目标”，是发力还是乏力？
科技云报道原创. 据The Information报道,近期谷歌云服务部门在会议的时候制定了一个雄心勃勃的目标,即在2023年之前击败其竞争对手微软Azure和亚马逊云服务AWS. 目前谷歌云平台排名 ...
谷歌云的「神奇女侠」
关注网易智能,聚焦AI大事件,读懂下一个大时代! 本文经授权转载自企服行业头条(ID:wwwqifu),作者:沐木过去很长一段时间,谷歌在全球云计算市场都处于尴尬的境地. 按理说,谷歌绝对具备成为全 ...
李飞飞重回斯坦福，Andrew Moore接手谷歌云AI
来源:网络大数据 6 月,海外媒体爆出「李飞飞或将离开谷歌重返斯坦福」;两周前,CMU 官方发布消息称 CMU 计算机学院院长 Andrew Moore 即将离职. 今日,谷歌云博客发布的信息最终把二 ...
pytorch resnet50_PyTorch终于能用上谷歌云TPU，推理性能提升4倍，我们该如何薅羊毛？...
晓查发自凹非寺量子位报道 | 公众号 QbitAI Facebook在PyTorch开发者大会上正式推出了PyTorch 1.3,并宣布了对谷歌云TPU的全面支持,而且还可以在Colab中调用 ...
深度解析：AWS、谷歌云、IBM Cloud和微软 Azure四巨头2018将会有哪些布局？
来源: IDC圈近来,公司规模已经不再是企业选择云服务商的重要因素,市场对云服务商优劣的判断有了多种标准.企业对全球一些大型云计算服务商(例如亚马逊AWS,谷歌云平台,IBM Cloud和微软 Az ...

谷歌云计算机,google云计算的三大核心技术

谷歌云计算机,google云计算的三大核心技术相关推荐

最新文章

热门文章