分布式系统设计经典论文
推荐几篇工业界分布式系统设计的论文。
1. Google 经典的“三驾马车”
The Google File System (2003):https://static.googleusercontent.com/media/research.google.com/zh-CN//archive/gfs-sosp2003.pdf
MapReduce: Simplified Data Processing on Large Clusters (2004):https://storage.googleapis.com/pub-tools-public-publication-data/pdf/16cb30b4b92fd4989b8619a61752a2387c6dd474.pdf
Bigtable: A Distributed Storage System for Structured Data (2006):https://static.googleusercontent.com/media/research.google.com/zh-CN//archive/bigtable-osdi06.pdf
最早发表的 GFS 论文(2003)到现在(2019)已经 16 年了。这三篇论文可以说是工业界、开源界分布式系统的启蒙者。之后的 Hadoop 系列开源软件 HDFS、MapReduce、Hbase 都是参考这三篇论文设计的。
2. Amazon 的 Dynamo (高可用、最终一致的分布式 KV)
Dynamo: Amazon’s Highly Available Key-value Store (2007):https://www.allthingsdistributed.com/files/amazon-dynamo-sosp2007.pdf
和 Bigtable 差不多同一时期,Amazon 发表了 Dynamo 这篇论文。个人觉得这篇论文非常经典,绝对值得一读。从 Dynamo 和后来的 Aurora,可以看出 Amazon 做出来的东西都非常有自己的特色。
3. Google 的 Percolator 和 Megastore
Large-scale Incremental Processing Using Distributed Transactions and Notifications (2010):https://storage.googleapis.com/pub-tools-public-publication-data/pdf/36726.pdf
Megastore: Providing Scalable, Highly Available Storage for Interactive Services (2011):https://storage.googleapis.com/pub-tools-public-publication-data/pdf/36971.pdf
通过这两篇论文,看看 Google 内部是如何在 Bigtable 上“打补丁”,直到后来 Spanner 的出现。
4. Google 的 Spanner 和 F1 。
Spanner: Google’s Globally-Distributed Database (2012):https://www.usenix.org/system/files/conference/osdi12/osdi12-final-16.pdf
F1: A Distributed SQL Database That Scales (2013):https://static.googleusercontent.com/media/research.google.com/zh-CN//pubs/archive/41344.pdf
Online, Asynchronous Schema Change in F1 (2013):https://static.googleusercontent.com/media/research.google.com/zh-CN//pubs/archive/41376.pdf
最开始的时候,Spanner 和 F1 分工合作:Spanner 专注存储层,是一个高可用的分布式 KV并且支持分布式事务;F1 则专注计算层,是一个分布式 SQL 引擎。
Spanner: Becoming a SQL System (2017):https://static.googleusercontent.com/media/research.google.com/zh-CN//pubs/archive/46103.pdf
后来,Spanner 开始自己实现 SQL 层。(感觉是要替代掉 F1。)
F1 Query: Declarative Querying at Scale (2018):https://storage.googleapis.com/pub-tools-public-publication-data/pdf/fa380016eccb33ac5e92c84f7b5eec136e73d3f1.pdf
F1 为了不让自己被干掉,将自己重新定位成 Google 内部统一的查询引擎,包括 OLTP 和 OLAP。底层数据源也不只是适配 Spanner。
Spanner 和 F1 论文的发布,开启了 NewSQL 世界的大门。个人感觉这 21 世纪以来到现在,Google 几乎成了是工业界分布式系统的“风向标”……著名的两个开源 NewSQL,TiDB 和 CockroachDB 都是 inspire by Spanner 和 F1。
5. Amazon 的 Aurora
Amazon Aurora: Design Considerations for High Throughput Cloud-Native Relational Databases (2017):https://www.allthingsdistributed.com/files/p1041-verbitski.pdf
Amazon Aurora: On Avoiding Distributed Consensus for I/Os, Commits, and Membership Changes (2018):https://1drv.ms/b/s!As90tzptTSB3g3kUDUVDwqm9rmAM
Aurora 也是一个非常经典的存储系统——设计的目标是云原生数据库。
来源:https://www.jianshu.com/p/1b9ba08e4b6c
版权申明:内容来源网络,版权归原创者所有。除非无法确认,我们都会标明作者及出处,如有侵权烦请告知,我们会立即删除并表示歉意。谢谢。
-END-
架构文摘
ID:ArchDigest
互联网应用架构丨架构技术丨大型网站丨大数据丨机器学习
更多精彩文章,请点击下方:阅读原文
分布式系统设计经典论文相关推荐
- 极客时间-左耳听风-程序员攻略-分布式架构经典图书和论文
经典图书 Distributed Systems for fun and profit,讲述以亚马逊的 Dynamo.谷歌的 Bigtable 和 MapReduce 等为代表的分布式系统背后的核心思 ...
- 腾讯资深架构师干货总结:一文读懂大型分布式系统设计的方方面面
1.引言 我们常常会听说,某个互联网应用的服务器端系统多么牛逼,比如QQ.微信.淘宝.那么,一个大型互联网应用的服务器端系统,到底牛逼在什么地方?为什么海量的用户访问,会让一个服务器端系统变得更复杂? ...
- 一文带你重新审视CAP理论与分布式系统设计
这是一篇来自微信公众号的文章,如果图片看不到,可直接跳转到文章出处查看:https://mp.weixin.qq.com/s?__biz=MzI4NTA1MDEwNg==&mid=265076 ...
- 【分布式】Chubby论文解读
参考文献: [1] The Chubby lock service for loosely-coupled distributed systems [2] Paxos Made Simple 声明 ...
- NeurIPS 2019公布获奖论文!新增杰出新方向奖项,微软华裔研究员斩获经典论文...
来源:大数据文摘 备受瞩目的NeurlPS 2019周日一早在温哥华拉开序幕,今天,组委会通过一篇博客公布了包括杰出论文奖.杰出新方向论文奖等五大类奖项. NeurIPS,全称神经信息处理系统大会(C ...
- 转:经典论文翻译导读之《Google File System》
首页 所有文章 资讯 Web 架构 基础技术 书籍 教程 Java小组 工具资源 - 导航条 -首页所有文章资讯Web架构基础技术书籍教程Java小组工具资源 经典论文翻译导读之<Google ...
- 计算机视觉经典论文整理
经典论文 计算机视觉论文 ImageNet分类 物体检测 物体跟踪 低级视觉 边缘检测 语义分割 视觉注意力和显著性 物体识别 人体姿态估计 CNN原理和性质(Understanding CNN) 图 ...
- 专家票选! 2020 年度 10 篇人工智能经典论文(6-10)
内容提要:近日,多家机构发布了关于人工智能的年终回顾总结,从种种表现来看,疫情之下,AI 依然蓬勃发展,全球 AI 产业规模达到 1500 多亿美元.这背后,又有哪些突破性的研究值得关注? 关键词:A ...
- 专家票选! 2020 年度 10 篇人工智能经典论文(1-5)
By 超神经 内容提要:2020 年即将过去,虽然这一年全球都笼罩在疫情的阴影之下,许多事情也因疫情而停摆.但是,人工智能领域依然逆势而上,取得了许多重大突破.在岁末之际,一起看看今年有哪些研究值得关 ...
最新文章
- Daily Scrum Meeting ——ZeroDay(Beta)12.08
- AVIO内存输入模式
- 介绍了如何取成员函数的地址以及调用该地址
- MYSQL - php 使用 localhost 无法连接数据库
- s5pv210——按键
- 计算机职称考试模拟试题及答案,2018职称计算机考试WindowsXP模拟试题及答案|计算机一级模拟题软件...
- pixhawk学习笔记-----mavlink
- Pyqt5转化.ui文件到.py文件
- 第十章第二节 阿基米德原理
- c语言编程 消除直线锯齿,C语言 抗锯齿像素渲染
- 苹果注册2019款iPhone 预计今秋将发布3款11个版本
- ads1278_基于ADS1278的高精度微应变信号采集系统
- 五、原型模式(Prototype Pattern)
- 每一个圣人都有一个过去
- matlab坐标值旋转平移
- 视频画中画制作,一键合并多个视频,简单又专业
- “机器学习实战“刻意练习2/8周
- mysql5.7无损复制_MySQL5.7新特性:lossless replication 无损复制
- Eclipse clearcase plugin
- c语言短信猫开发代码