GOOGLE 分布式系统关键技术论文分析

一、背景

大规模分布式系统设计是业界的技术难题，本文通过 GOOGLE 的分布式系统关键技术论文，从数据平面和控制平面两个纬度进行解读，从而帮助构建分布式系统设计基础。

二、关键论文

计算框架论文	简介	发表时间	主要作者
搜索引擎 Search Engine	The Anatomy of a Large-Scale Hypertextual Web Search Engine	1998	Sergey Brin, Lawrence Page
数据挖掘 [Mining Causal Structures](Mining Causal Structures)	Scalable Techniques for Mining Causal Structures	1998	Craig Silverstein, Sergey Brin, Rajeev Motwani, etc.
搜索引擎 Extracting Patterns	Extracting Patterns and Relations from the World Wide Web	1998	Sergey Brin
搜索引擎 WEBSEARCH FOR A PLANET	THE GOOGLE CLUSTER ARCHITECTURE	2003	Luiz André Barroso, Jeffrey Dean
分布式锁服务 Chubby	The Chubby lock service for loosely-coupled distributed systems	2006	Mike Burrows
数据中心架构 The Datacenter as a Computer	An Introduction to the Design of Warehouse-Scale Machines	2009	Luiz André Barroso, Urs Hölzle
数据中心统计画像 GOOGLE-WIDE PROFILING	A CONTINUOUS PROFILING INFRASTRUCTURE FOR DATA CENTERS	2010	Gang Ren, Eric Tune, Tipp Moseley, etc.
系统追踪 Dapper	A Large-Scale Distributed Systems Tracing Infrastructure	2010	Benjamin H. Sigelman, Luiz Andre Barroso, Mike Burrows, etc.
多租户弹性资源伸缩 CloudScale	Elastic Resource Scaling for Multi-Tenant Cloud Systems	2011	Zhiming Shen, Sethuraman Subbiah, Xiaohui Gu
网络设计 B4	Experience with a Globally-Deployed Software Defined WAN	2013	Sushant Jain, Alok Kumar, Subhasree Mandal, etc.
低时延设计 The Tail at Scale	Software techniques that tolerate latency variability are vital to building responsive large-scale Web services	2013	JEFFREY DEAN, LUIZ ANDRÉ BARROSO
集群调度 Omega	Flexible, scalable schedulers for large compute clusters	2013	Malte Schwarzkopf, Andy Konwinski, Michael Abd-El-Malek, etc.
性能隔离 CPI2	CPU performance isolation for shared compute clusters	2013	Xiao Zhang, Eric Tune, Robert Hagmann
大规模集群管控 Borg	Large-scale cluster management at Google with Borg	2015	Abhishek Verma, Luis Pedrosa, Madhukar Korupolu, etc.
自动分区 Slicer	Auto-Sharding for Datacenter Applications	2016	Atul Adya, Daniel Myers, Jon Howell, etc.
容器调度 K8S	Borg, Omega, and Kubernetes	2016	BRENDAN BURNS, BRIAN GRANT, DAVID OPPENHEIMER, etc.
图分区管理 Graph partitioning	Distributed Balanced Partitioning via Linear Embedding	2016	Kevin Aydin, MohammadHossein Bateni, Vahab Mirrokni
数据排布的高效集群调度 Firmament	Fast, Centralized Cluster Scheduling at Scale	2016	Ionel Gog, Malte Schwarzkopf, Adam Gleave, etc.

三、技术分析

GOOGLE 从搭建搜索引擎开始，分别从数据平面和管理平面构建大规模分布式系统，其中数据平面以 GFS、MR、BigTable 三篇经典作为基础不断发展，同时管控平面也不断完善。

分布式系统的调度控制，从 Borg，Omega，再到当前风靡业界的 Kubernetes，支撑了分布式资源调度的发展。
分布式系统的锁服务 Chubby，提供了一致性的数据管理能力。
分布式系统的跟踪系统 Dapper，让构建分布式服务时能够跟踪模块间的执行，便于运维优化。
分布式系统的统计画像 GOOGLE-WIDE PROFILING，对分布式系统进行运行统计，从而支撑开发运维的优化。
分布式系统的资源隔离 CPI2，通过对资源的隔离控制，保证服务等级。
分布式系统的自动分区管理 Slicer 和图分区管理 Graph partitioning | Distributed Balanced Partitioning via Linear Embedding，可以解决元数据分区热点问题。

四、总结

构建大规模分布式系统，其实和构建传统 ICT 类似，也需要从架构上设计好数据平面和控制平面，从而除了集中数据路径的设计优化，同样也需要设计好控制平面的集群控制、锁管理、日志跟踪、统计画像、资源隔离、热点均衡等技术，只是在大规模系统构建的需求下，需要进行架构的重新设计。

五、参考

GOOGLE Publication Database

转载于:https://blog.51cto.com/luoqingchao/2350032

GOOGLE 分布式系统关键技术论文分析相关推荐

无人机蜂群拦截系统作战构想与关键技术论文解读
@toc 文献链接: 无人机蜂群拦截系统作战构想与关键技术&论文解读刘文章张骞,赵梓涵时事背景: 在 2020年纳卡冲突中,阿塞拜疆使用无人机攻击亚美尼亚地面坦克及士兵无人机蜂群拦 ...
【Prometheus 自主无人机平台】无人机蜂群拦截系统作战构想与关键技术论文解读
无人机蜂群拦截系统作战构想与关键技术&论文解读文献链接: 时事背景: 无人机蜂群拦截网络系统概念: 无人机蜂群拦截系统: 无人机拦截系统组成拦截群侦察群: 反辐射群: 电子对抗群(干扰群 ...
基于IMS网络融合的关键技术问题分析
基于IMS网络融合的关键技术问题分析字号: 小中大 | 打印发布: 2008-3-12 13:51 作者: webmaster 来源: 网络转载查看: 78次 ...
计算机网络相关关键技术论文,电力线通信plc计算机网络关键技术及其应用研究计算机应用技术专业论文.docx...
电力线通信plc计算机网络关键技术及其应用研究计算机应用技术专业论文摘摘要高压电力线载波通信已有近百年的历史,它在电力调度话音通信.电力系统远动装置数据采集等方面取得了卓有成效的应用,但是利用 ...
计算机视觉关键技术论文,视觉显著性检测关键技术研究
作者姓名导师姓名文献出处论文摘要随着互联网技术和多媒体技术的飞速发展,数字媒体信息呈现出以几何级数增长的态势.海量的数字媒体为人们的娱乐.教育和商业带来便利的同时,也为视觉信息处理技术提出了新的挑战. ...
算力网络发展中的若干关键技术问题分析
算力网络是指在计算能力不断泛在化发展的基础上,通过网络手段将计算.存储等基础资源在云.边.端之间进行有效调配的方式,以此提升业务服务质量和用户的服务体验. 算力网络自2019年诞生至今已有3年多,在产 ...
面向垂直行业的5G核心网关键技术演进分析
[摘要]为更好服务垂直行业,5G核心网在R16阶段开展包括5G LAN.URLLC.5G TSN和5G-V2X在内的多项关键技术研究,不断提升5G网络硬核能力.通过对这四个技术的应用场景和关键能力进 ...
JVET H.266编码技术amp;JEM编码平台关键技术整理分析
也是很久没有写博客了,也不能说因为时间太忙,可能就是有些顾不太过来更新,同时自己项目和学习的进展也比较有限吧. 这篇博客是上一周,给导师做的<JVET H.266编码技术调研>.其实基本没 ...
分布式（技术栈、关键技术、PaaS平台、资料推荐、相关论文）
2019独角兽企业重金招聘Python工程师标准>>> 分布式系统架构的冰与火首先,我们需要阐述一下为什么需要分布式系统,而不是传统的单体架构.也许这对你来说已经不是什么问题了,但 ...