[转载]Yahoo!的分布式数据平台PNUTS简介及感悟
转载自:http://timyang.net/architecture/yahoo-pnuts/
在分布式领域有个CAP理论(Brewer’s CAP Theorem) ,是说Consistency(一致性), Availability(可用性), Partition tolerance(分布) 三部分在系统实现只可同时满足二点,没法三者兼顾。所以架构设计师不要把精力浪费在如何设计能满足三者的完美分布式系统,而是应该进行取舍,选取最适合应用需求的其中之二。比如MySQL 5.1 cluster设计前显然不知道有CAP理论这样的经验, 所以MySQL cluster表面看来尽管可提供所有分布式特性,但实际大部分场合都无法提供稳定可靠的服务。
Yahoo!的PNUTS是一个分布式的数据存储平台,它是Yahoo!云计算平台重要的一部分。它的上层产品通常也称为Sherpa。按照官方的描述,”PNUTS, a massively parallel and geographically distributed database system for Yahoo!’s web applications.” PNUTS显然就深谙CAP之道,考虑到大部分web应用对一致性并不要求非常严格,在设计上放弃了对强一致性的追求。代替的是追求更高的availability,容错,更快速的响应调用请求等。
1. PNUTS简介及特点
- 地理分布式,分布在全球多个数据中心。由于大部分Web应用都对响应时间要求高,因此最好服务器部署在离用户最近的本地机房。
- 可扩展,记录数可支持从几万条到几亿条。数据容量增加不会影响性能。
- schema-free,即非固定表结构。实际使用key/value存储的,一条记录的多个字段实际是用json方式合并存在value中。因此delete和update必须指定primary key。但也支持批量查询。
- 高可用性及容错。从单个存储节点到整个数据中心不可用都不会影响前端Web访问。
- 适合存相对小型的记录,不适合存储大文件,流媒体等。
- 弱一致性保证。
传统的数据库提供强一致性保证, 通常称为“serialization transaction”,保证调用时序的一致性。但在web应用中不是必须,比如用户A修改了自己的资料或上传了图片,他的好友B短时间不能立即看到并不是大的问题,通常的Web应用都可以接受。PNUTS像大部分分布式key/value系统类似,提供的是弱一致性的支持,也就是支持“最终一致性(eventually consistent)”。用户B最终会看到用户A的修改信息。
未够!但最终一致性并非可以适应所有场合,比如用户A修改了相册的访问权限,设置用户C不能访问,然后用户A又上传了新的图片,如果用户C处于另外一个IDC访问,如果图片数据先同步成功,而权限记录后同步的话,C实际上违反了A设置的权限而看到图片了。因此对于部分场合最终一致性是不够的。
2. PNUTS实现
2.1 Record-level mastering 记录级别主节点
每一条记录都有一个主记录。比如一个印度的用户保存的记录master在印度机房,通常修改都会调用印度。其他地方如美国用户看这个用户的资料调用的是美国数据中心的资料,有可能取到的是旧版的数据。非master机房也可对记录进行修改,但需要master来统一管理。每行数据都有自己的版本控制,如下图所示。
2.2 PNUTS的结构
2.3 Tablets寻址与切分
2.4 API访问
- Read-any 读取的版本有可能是旧的,返回本地IDC的数据,不检查最新版本,性能最好。
- Read-critical(required_version) 读取指定版本,用户修改资料之后调用返回比当前版本更新的版本,以保证当前用户看到的不是修改前的记录。
- Read-latest 强制读取最新,可能需要执行远程IDC调用。比如上面例子介绍的读取权限列表的调用。
- Write 比如更新用户资料
- Test-and-set-write(required version) 只有当记录属于指定的版本才执行write,比如更新用户积分等业务,这个调用有点类似以前介绍的atom操作。
Write调用示意图
3. PNUTS疑问
记录级别master的问题,比如master选取如何达到效率最佳,如何面对2个修改合并冲突?合并冲突据说是需要client自行来处理,
这篇Details on Yahoo’s distributed database提到的平均调用latency 100ms的问题。web应用通常对每次数据的访问最好在10ms之内完成,因为每个web页面实际上不止一个数据访问的调用,经常调用10次以上db的访问的页面并不少见,因此如果平均latency在100ms以上那势必影响页面加载速度。不过yahoo!的开发人员回复paper中的数据实际是一个老版本的测试,目前的版本,在实际生产环境的pnuts的latency会在10ms以下。
另外PNUTS为什么要用消息系统代替replication/undo log?有何优点?
4. PNUTS感悟
Web应用使用通用的存储服务是大势所趋,类似BigTable, Amazon Dynamo/SimpleDB这样的方案,但是目前除非使用Amazon提供的商用SimpleDB之外几乎没有通用的解决方案,每个公司甚至每个项目需要面对及考虑数据规模增大的问题。比如初步统计下国内研究可扩展数据存储及访问的项目就有
- 手机之家的数据访问层封装DAL 2.0
- 盛大陈思儒写的开源项目Amoeba,类似MySQL proxy
- 国内的Erlang geek @litaocheng 曾经对Dynamo paper深有研究,正在开发开源的erlang Dynamo实现e2dynoma
- 豆瓣的doubanDB,也是类Dynamo实现
当然上面几个只是冰山一角,大部分互联网公司都有自己的数据层分布及访问实现,只不过没有对外公开而已。架构师、DBA、程序员具备这方面的实践经验及技能当然是好事,但是如果业界能够有通用稳定的解决方案来解决大家的重复工作则对整个业界更佳。PNUTS虽然声称会开源,但是一直没有进一步消息。而且即使开源是是开放核心代码还是全部可用于部署的程序(比如YMB等)这也是一个问题。
当然,我不是第一个也不是最后一个考虑这个问题的,比如2006年Greg Linden就说I want a big, virtual database
What I want is a robust, high performance virtual relational database that runs transparently over a cluster, nodes dropping in an out of service at will, read-write replication and data migration all done automatically.
I want to be able to install a database on a server cloud and use it like it was all running on one machine.
参考资料
- [1] [Paper/PDF] PNUTS: Yahoo!’s Hosted Data Serving Platform
- [2] [PPT] PNUTS: Yahoo!’s Hosted Data Serving Platform
转载于:https://www.cnblogs.com/foxmailed/archive/2012/01/07/2315774.html
[转载]Yahoo!的分布式数据平台PNUTS简介及感悟相关推荐
- 【国产化系列】龙芯平台指令集简介及现有处理器的支持特性
DATE: 2021.10.27 文章目录 1.转载参考 2.龙芯平台指令集简介 3.编译参数 4.查找热点函数进行代码优化 1.转载参考 龙芯平台指令集简介及现有处理器的支持特性 2.龙芯平台指令集 ...
- 品高应用开发平台:简介
品高应用开发平台:简介 品高应用开发平台旨在提升公司的项目开发效率.积累公司的开发技术.统一公司的开发模式而提出的一个对开发.设计.运行时进行全面支撑的完整体系.我们推出该平台的目标是:每天为每位开发 ...
- 【转载】SOA 服务架构之简介及理解
[转载]SOA 服务架构之简介及理解 自:https://blog.csdn.net/lch_2016/article/details/81062351 扩展阅读: SOA架构和微服务架构的区别:(推 ...
- 流数据机器学习平台SAMOA简介
流数据机器学习平台SAMOA简介 SAMOA (Scalable Advanced Massive Online Analysis)是由雅虎开源的流数据在线机器学习的框架.和其它绝大多数大数据处理框架 ...
- 流数据分析平台Storm简介
流数据分析平台Storm简介 Storm是一个分布式的.容错的实时流计算系统,可以方便地在一个计算机集群中编写与扩展复杂的实时计算,Storm之于实时处理,就好比Hadoop之于批处理.Storm保证 ...
- 开源医学图像处理平台NiftyNet简介
开源医学图像处理平台NiftyNet简介 NiftyNet是一款开源的卷积神经网络平台,专门针对医学图像处理分析以及医学影像指导治疗,由WEISS (Wellcome EPSRC Centre for ...
- python3.7版本简介_python3.7.2各平台安装简介
python3.7.2各平台安装简介 Python官网:https://www.python.org/ Python文档下载地址:https://www.python.org/doc/ Unix &a ...
- 宜人贷 PaaS 数据服务平台Genie 简介(一)
目录 数据平台的发展简介 宜人贷数据平台特点介绍 数据平台功能简介 数据平台的发展简介 随着数据时代的到来,数据量和数据复杂度的增加推动了数据工程领域的快速发展.为了满足各类数据获取/计算等需求业内涌 ...
- 宜人贷 PaaS 数据服务平台Genie 简介(一) 1
目录 数据平台的发展简介 宜人贷数据平台特点介绍 数据平台功能简介 数据平台的发展简介 随着数据时代的到来,数据量和数据复杂度的增加推动了数据工程领域的快速发展.为了满足各类数据获取/计算等需求业内涌 ...
- 1.2.太极平台框架简介
1.太极平台框架简介 太极平台框架,是专为制作后台管理系统而开发的一个框架.使用该框架,可以非常快速的搭建系统. 针对于列表.以及增删改查这种通用的功能,太极框架只需要配置列表有哪些字段,以及这些字段 ...
最新文章
- 鸟哥的linux 实训教程,鸟哥的Linux基础学习实训教程
- linux cat 脚本,Linux Shell 脚本攻略 读书笔记 -- 201.cat的几种用法
- 毕业论文 | 便携式环境烟雾监测器(源码、电路图)
- nginx https配置
- MAC 下的简单 SHELL 入门
- Object 的静态方法之 defineProperties 以及数据劫持效果
- mingw + msys 上编译 ffmpeg
- Pick!闲鱼亿级商品库中的秒级实时选品
- 优启通怎么重装系统win10_重装系统失败?小编教你安全给神舟战神GX9 Pro重装win10系统方法...
- 02-C#入门(枚举、结构等)
- 莫代尔是什么?它有哪些优缺点?
- php语法中变量如何定义和使用,PHP语法—PHP的变量
- 网上订餐系统的SQL SERVER 2005数据库连接
- java 学生学籍管理系统_JAVA学生学籍管理系统
- win10 更新后指纹不能使用
- Pdfjs-dist 填坑日记
- IE、火狐浏览器文档批量下载不识别zip压缩包
- 变限积分求导公式总结_变限积分函数求导以及高阶导数求法的一些总结
- python爬虫——爬取小说
- Java基础 DAY05
热门文章
- hdfs 创建用户和用户组_HDFS原理 | 一文读懂HDFS架构与设计
- 三丰三坐标编程基本步骤_日常皮肤护理的基本三步骤,问题皮肤不要作
- file watchers怎么默认打开_python默认字典defaultdict进阶
- DWR整合Spring
- [渝粤教育] 江西外语外贸职业学院 商务英语口语与实训 参考 资料
- 【Nature论文浅析】基于模型的AlphaGo Zero
- 23种设计模式(十一)对象性能之单件模式
- 矩阵分解(MF)方法及代码
- [转]介绍几个C#正则表达式工具
- [转]windows2003的IIS详细设置方法