三百行python代码的项目_使用300行代码创建一个分布式系统

使用

300

行代码创建一个分布式系统

构建一个分布式系统是很困难的。

它需要可扩展性、

容错性、

高可用性、

一致性、

可伸缩以及高效。为了达到这些目的，分布式系统需要很多复杂的组件以一

种

复杂的方式协同工作。例如，

Apache

Hadoop

在大型集群上并行处理

级别的

数据集时，需要依赖有着高容错的文件系统(

HDFS

)来达到高吞

吐量。

在之前，每一个新的分布式系统，例如

Hadoop

和

Cassandra

，都需要构建自己

的底层架构，包括消息处理、存储、网络、容错性和可伸缩性。

庆幸的是，像

Apache

Mesos

这样的系统，

通过给分布式系统的关键构建模块提供类似操作系

统的管理服务，

简化了构建和管理分布式系统的任务。

Mesos

抽离了

CPU

、

存储

和其它计算资源，

因此开发者开发分布式应用程序时能够将整个数据中心集群当

做一台巨型机对待。

构建在

Mesos

上的应用程序被称为框架，

它们能解决很多问题：

Apache

Spark

，

一种流行的集群式数据分析工具；

Chronos

，一个类

似

cron

的具有容错性的分

布式

scheduler

，这是两个构建在

Mesos

上的框架的例子。构建框架可以使用多

种语言，包括

C++

，

Python

，

Java

，

Haskell

和

Scala

。

在分布式系统用例上，比特币开采就是一个很好的例子。比特币将为生

成

acceptable

hash

的挑战转为验证一块事务的可靠性。

可能需要

几十年，

单台笔记本电脑挖一块可能需要花费超过

150

年。结果是，有许多的“采矿池”

允许采矿者将他们的计算资源联合起来以加快挖矿速度。

Mesosphere

的一个实

习生，

Derek

，

写了一个

比特币开采框架

，

利用集群资源的优势来做同样的事情。

在接下来的内容中，会以他的代码为例。

个

Mesos

框架有

个

scheduler

和

个

executor

组成。

scheduler

和

Mesos

master

通信并决定运行什么任

务，而

executor

运行在

slaves

上面，

执行实际任务。大多数的框架实现了自己的

scheduler

，并使用

个由

Mesos

提

供的标准

executors

。当然，框架也可以自己定制

executor

三百行python代码的项目_使用300行代码创建一个分布式系统相关推荐

iar怎么新建立项目_请简述IAR中创建一个应用项目的步骤及配置过程。
[多选题]公路工程中应用的石灰要求达到( ). [多选题]在石灰工业废渣稳定土施工前,取有代表性石灰样品进行下列试验( ). [单选题]在沥青混合料中掺加适量消石灰粉,可以有效提高沥青混合料的( ). ...
【electron】如何快速进行electron项目开发（包含了各种创建一个electron项目的方法）
文章目录导读开发环境各种electron项目初始化方案 create-electron(推荐) 功能特征安装 vue-cli + electron-vue 使用说明 fork的优质代码克隆g ...
【前端实例代码】如何使用 HTML 和 CSS 快速创建一个响应式导航栏
效果图: 大屏: 小屏: bilibili在线视频演示地址: [前端实例代码]如何使用 HTML 和 CSS 快速创建一个响应式导航栏nav_哔哩哔哩_bilibili完整代码在这里:https:// ...
python一百行代码多少钱_用86行Python代码模拟太阳系
Python代码模拟的太阳系,包括了水星(Mercury), 金星(Venus),地球(Earth),月球(Moon),火星(Mars) 上面的动画是我用86行Python代码模拟的一个比较真实的太阳 ...
python代码修复神器_一键 fxxk，代码修复神器拯救你
原标题:一键 fxxk,代码修复神器拯救你作者 | 一一出品 | AI科技大本营(ID: rgznai100) 在成为一个合格的开发者之前,大多数人一般都经历过被命令行反复"fuck&q ...
python星空画法教程_对比几段代码，看看你是 Python 菜鸟还是老鸟
Python 里有个小彩蛋: 在 Python Shell 里输入 import this 这段话被称作"Python 之禅"(The Zen of Python),它列举了一些 ...
python怎么做项目_听说你没有python项目可做，我教你个方法
原标题:听说你没有python项目可做,我教你个方法学习了一段时间的Python,最近出现了"饥荒",感觉需要多看些代码,多学习学习别人做些什么,但却不知道做点什么来进行练习. ...
python打包flask 项目_使用pyinstaller将flask应用打包
Pyinstaller 用户将python程序打包成各个平台可直接运行的程序,也可以算作是对代码加密的一种方式.pyinstaller的安装及使用方式请参考官网. 注:该文章的系统环境是ubuntu ...
python风控建模项目_像潘叔叔那样用半年时间学Python，有哪些书值得看？
去年11月,SOHO中国董事长潘石屹先生发微博宣布,要开始学习Python,"这也是今天给自己人生的礼物".于是圈子里便有了"百亿身家中年男子告别房地产转行学Python ...

三百行python代码的项目_使用300行代码创建一个分布式系统

三百行python代码的项目_使用300行代码创建一个分布式系统相关推荐

最新文章

热门文章