引言:2010年,一个旨在解决扩容问题的项目诞生——Apache Mesos,它在某种程度上对CPU、内存、磁盘资源进行抽象,从而允许整个数据中心如同单台大服务器般运转。无需虚拟机和操作系统,Mesos创造了一个单独底层的集群为应用提供所需资源。
本文将向您简单介绍Mesos分布式架构,详细讨论请见《Mesos 实战》一书。

  Mesos通过引入一层抽象,提供了一种像管理单台大服务器般的方法来管理整个数据中心。你可以认为Mesos与当今虚拟化解决方案类似:像hypervisor一样抽象物理CPU、内存、磁盘资源,之后以虚拟机形式呈现。Mesos做相同的事情,但其将资源直接提供给应用。
  除了提升整体资源的利用率外,Mesos还一开始就支持分布式、高可用及容错。通过使用容器技术,如Linux control groups (cgroups)和Docker,Mesos实现了进程间隔离,允许多个应用运行在同一机器上。你也许曾搭建过三个集群,分别运行着Memcached、Jenkins CI和Ruby on Rails应用,现在你只需部署一个Mesos集群就可以运行所有的应用了。
  为了提供规模化服务,Mesos提供了一套分布式、容错性架构来完成资源的细粒度分配。这套架构包括三个组件:master、slave及运行在其上的应用本身(通常称为framework)。Mesos依赖于Apache ZooKeeper,一个分布式的数据存储系统,专用于集群内的协调同步leader投票选举,以及Mesos master、slave和framework间的leader发现。
  在下图中,你能够看见这些架构组件如何在一起工作,从而提供一个稳定的平台来部署应用。
                
                Mesos架构图,包括一个或多个master、slave和framework

masters

  Mesos master的职责是管理集群中在每台机器上运行的Mesos slave守护进程。通过ZooKeeper和master之间协调哪个节点是主master,哪些节点作为备用存在,它们将在主master离线时接管服务。
  主master节点使用可插拔的分配模块或调度算法来分发资源供给至各种调度器,从而决定将什么资源提供给某一特定的framework。调度器依据其上是否有任务需要执行来决定接收或拒绝资源供给。
  Mesos集群至少要求有一个master节点。在生产环境为了保证高可用性,推荐采用三个甚至更多的master节点。你可以将ZooKeeper在与master相同的机器上运行,或者使用独立ZooKeeper集群。

slaves

  在集群中负责执行framework任务的服务器被称为Mesos slave节点,它们访问ZooKeeper来确定主master节点,将CPU、内存、存储资源以资源供给的形式宣告给主master。当调度器从主master接收资源供给后,在slave节点上启动一个或多个执行器,执行器负责运行framework的任务。
  Mesos slave也能够基于属性与资源进行配置,从而允许它们定制特定环境。属性配置是键值对形式,可以包含类似于节点所在机房位置信息。资源配置可以替代Mesos自动探测发现slave节点的有效资源,并由用户指定具体的CPU、内存、磁盘资源信息。属性配置与资源配置的示例信息如下:

--attributes='datacenter:pdx1;rack:1-1;os:rhel7'
--resources='cpu:24;mem:24576;disk:409600'

  在属性配置中对Mesos节点的数据中心、节点位置、操作系统进行了说明,在资源配置中用户指定了该节点提供的CPU、内存和磁盘资源。在日常维护中,这些信息对保证应用在线运行不受影响特别有用。使用这些配置信息,数据中心的运维人员可以在整个机柜甚至整排机柜离线日常维护时不影响用户。

frameworks

  framework是表示Mesos应用的术语,它负责在集群上调度与执行任务。framework由两个组件组成:调度器与执行器。

1 . 调度器

  调度器是典型的长运行态服务,负责与Mesos Master连接,接收或拒绝资源供给。Mesos将调度的职责委派给了framework,而不是试着由自己调度所有的任务执行。调度器基于当下是否有任务需要运行来决定是否接受或拒绝资源供给。调度器通过与ZooKeeper通信来探测主master的存在,之后将其自己注册到master中。

2 . 执行器

  执行器是在Mesos slave上启动的一个进程,负责运行framework的任务。在本书写作之时,Mesos内建的执行器允许framework执行shell脚本、Docker容器等。Mesos支持多种编程语言执行器,新的执行器可以与framework绑定在一起,当任务需要它时由Mesos slave从framework获取。
  如你所看到的,Mesos提供了一个分布式、高可用的架构,master负责整个集群的调度工作,slave将有效资源通知调度器,并在集群中执行任务。
  本文选自《Mesos 实战》,点此链接可在博文视点官网查看此书。
                      
  想及时获得更多精彩文章,可在微信中搜索“博文视点”或者扫描下方二维码并关注。
                         

用Mesos分布式架构进行工作相关推荐

  1. 单一nginx负载均衡+LNMP分布式架构

    随着互联网的快速发展,我们的web站点访问量和数据流量的快速增长,对于我们服务器的处理能里的要求也越来越高,这样的情况下,单一的服务器根本无法承受,  这样的话我们丢弃掉原有的设备,做硬件升级,会造成 ...

  2. 分布式架构高可用与高并发那些在工作中常用到的那些变态应用

    目录 反向代理服务 应用服务 数据库和memcached服务 三层架构的可伸缩性 反向代理服务 上图展示了一个典型的三层架构的高性能 Web 应用.这种成熟的架构多年以来已被广泛部署于包括 Googl ...

  3. 不懂这些高并发分布式架构、分布式系统的数据一致性解决方案,你如何能找到高新互联网工作呢?强势解析eBay BASE模式、去哪儿及蘑菇街分布式架构...

    互联网行业是大势所趋,从招聘工资水平即可看出,那么如何提升自我技能,满足互联网行业技能要求?需要以目标为导向,进行技能提升,本文主要针对高并发分布式系统设计.架构(数据一致性)做了分析,祝各位早日走上 ...

  4. 【网站架构】一招搞定90%的分布式事务,实打实介绍数据库事务、分布式事务的工作原理应用场景

    大家好,欢迎来到停止重构的频道.本期,我们来聊一下数据库事务以及分布式事务. 大家都在强调事务的重要性,而分布式事务也说是微服务必备的.但又说事务会影响性能,分布式事务更是很复杂的东西.使得大家都很迷 ...

  5. 一文了解四种软件架构:Serverless架构、微服务架构、分布式架构、单体架构

    如果一个软件开发人员,不了解软件架构的演进,会制约技术的选型和开发人员的生存.晋升空间.这里我列举了目前主要的四种软件架构以及他们的优缺点,希望能够帮助软件开发人员拓展知识面. 一.单体架构 单体架构 ...

  6. 【从单体架构到分布式架构】(二)请求增多,单点变集群(1):负载均衡

    这是我的第 47 篇原创文章作者 l 会点代码的大叔(CodeDaShu) 上一个章节,我们搭建了一个最简单的单体服务项目,单体架构就是把所有的功能都放在一个工程项目中. 但是当访问量不断增加,我们只 ...

  7. 一步一图,带你了解分布式架构的前世今生!

    作者:清零者 https://www.cnblogs.com/dump/p/8125539.html 目录: 什么是分布式架构? 分布式架构的演进 分布式服务面临的问题 什么是分布式架构? 分布式系统 ...

  8. 大型互联网大型分布式架构演进之路

    来自:网络 编注: 架构决定的系统的稳定性,扩展性和并发性,架构的演进是从简单到复杂,从单一到复合持续改进的过程,也是经验的积累和技术的结晶. 初始阶段架构 初始阶段的小型系统.应用程序.数据库.文件 ...

  9. 原来腾讯面试题也不难,面试官:给我说一下你理解的分布式架构?

    什么是分布式架构 分布式系统(distributed system) 是建立在网络之上的软件系统. 内聚性:是指每一个数据库分布节点高度自治,有本地的数据库管理系统. 透明性:是指每一个数据库分布节点 ...

最新文章

  1. 计算两个日期之间的工作日
  2. Java并发编程原理与实战一:聊聊并发
  3. Ubuntu伪分布式hadoop安装
  4. 【转】MongoDB 3.0 正式版本即将发布,强力推荐
  5. php注入类,简单实用的PHP防注入类实例
  6. infinity mysql_MySql锁机制
  7. 用matlab定义2020年元旦是星期三,如何用matlab实现某年某月某日是星期几的问题,...
  8. 配置普通用户可以运行saltstack的模块
  9. bootstrap学习网站
  10. 组合表头_单双斜线表头——520,想单就单,想双就双
  11. html如何设置滚动动画,JavaScript 实现页面滚动动画
  12. Apache孵化器主席Justin Mclean:如何成为Apache顶级开源项目
  13. 作者:沈志宏(1977-),男,博士,中国科学院计算机网络信息中心高级工程师...
  14. UVa 12169 - Disgruntled Judge(拓展欧几里德)
  15. opencv之imread()
  16. 解决UE4 Launcher启动速度极慢的方法
  17. BeyondCompare This license key has been revoked:
  18. sybase 性能监控及调优(转)
  19. rdlc报表 矩形高固定_什么是 BI?和报表有什么关系?有了 BI 还要做报表吗?
  20. 打造网站克隆、仿站工具、含源码(.NET CORE + selenium + chromedriver)

热门文章

  1. 第六章至第九章的单元测试
  2. The FreeRTOS Distribution(介绍、移植、类型定义)
  3. pandas 根据单号分类_由 “猫捉老鼠”游戏联想的用户分类问题
  4. uva 10061——How many zero\'s and how many digits ?
  5. C语言 有符号字符型输出 面试题
  6. 网络基础2-3(TCP协议,三次握手,四次挥手,TIME_WAIT状态的作用,TCP如何保证可靠传输,TCP连接中状态转化,滑动窗口,流量控制,快速重传,拥塞窗口,延迟应答,捎带应答,粘包问题)
  7. Win32项目关于MessageBox参数的详细说明
  8. 条件变量实现线程同步
  9. tiny4412初期环境搭建
  10. Codeforces 862D. Mahmoud and Ehab and the binary string 【二分】(交互)