Myriad开始由eBay、MapR和 Mesosphere合作了一个新项目,之后又把这个项目转交给了Mesos,“Project development has moved to: https://github.com/mesos/myriad.”再之后又把它移交给了Apache,真是项目大迁移啊!

一、介绍Myriad(从概念理解Myriad)

Myriad名字的意思是无数或及其很大的数字。

以下由github官网截取过来的,翻译水平有限哪个有错还请多多指教。

1、Myriad is a Mesos framework designed for scaling a YARN cluster on Mesos.

1、Myriad是为在Mesos上扩展YARN集群而设计的Mesos框架。

2、Myriad can expand or shrink the resources managed by a YARN cluster in response to events as per configured rules and policies.

2、Myriad可以针对每一项配置的规则和策略来扩展或缩放资源由YARN集群管理。

本人理解Myriad和其作用:

它是Mesos框架和YARN调度器的结合,它使得Mesos可以管理YARN的资源请求。当YARN中有作业请求资源时,YARN的资源管理器会先通过Myriad的调度器来调度,这样就可以和Mesos的资源申请和提供匹配起来。Mesos Master接下来会把调度请求发给Mesos的工作节点(Mesos Slave)。Mesos的工作节点会和Myriad的执行器(executor)进行通信并发送请求, Myriad执行器的作用是运行YARN的节点管理器(Node Manager)。当Myriad在Mesos分配的资源上加载YARN节点管理器后,YARN节点管理器就会和YARN的资源管理器通信来确定作业可用的资源。YARN可以以自己认为适合的方法来使用资源,Myriad则在Mesos可用的资源池和YARN的有资源需求的任务间提供了无缝的桥梁。

这种做法的优点是,它不仅让你在共享的集群中弹性的使用YARN,使得YARN比最初设计时更具活力和弹性。而且,它使得数据中心的运维团队在给YARN资源扩容时无需重新配置YARN集群。整个数据中心的扩容变得十分容易。该模型提供了一种简单的方式运行和管理多个YARN的实现,甚至在同一个集群上运行多个不同版本的YARN。

Myriad使得在使用Mesos时,资源利用和跨数据中心的资源管理得以统一。在这种情况下,YARN的工作负载是运行在共享的集群上,相比独立的YARN集群来说,更加动态和弹性。这个方法也使得数据中心维护团队可以扩展其资源以供给YARN(或者,从YARN拿走)而无须去重新配置集群。

二、Myriad的由来

当下比较火的两个资源统一管理与调度平台YARN与Mesos,比较他们两个的文字有很多在此就不多说其各异了。我只分下一个使用的场景:

YRAN:当一个作业请求提交到YARN的资源管理器,YARN会对可用的资源进行评估,并放置作业到相应的位置。这事一个作业应该去哪儿的决定。YARN并不是为长时间服务,或者短生命周期的交互式查询来设计的,虽然有可能让YARN去调度其它这些工作负载,但显然这不是个理想的模型。在没有大数据任务在队列中时,这些资源常常是未被充分使用的。当一个大数据任务运行时,这些资源迅速被用到极限,并且在请求更多资源。

Mesos:利用了两级调度机制,即资源的请求和提供是针对框架而不是作业,可以把框架视为在Mesos上面运行的应用。Mesos的master节点决策提供每个框架多少资源,每个框架接着决策它能接受的资源申请以及哪种应用可以在这些资源上运行。当集群中的节点共享多个框架时,这种资源分配方法可以获得近似最佳的数据本地化(data locality)。

当你把如何管理数据中心作为整体来评估时,一方面使用Mesos来管理数据中心的所有资源,另一方面使用YARN来安全的管理Hadoop任务,但它并不具有管理整个数据中心的能力。数据中心运营商倾向于把集群划分为的不同区域(Hadoop集群和非Hadoop集群)来应对这两个场景。

在同一个数据中心使用Mesos和YARN,为了受益于资源管理器,目前需要创建两个静态分区。此时意味着当指定资源被Hadoop的YARN管理时,Mesos就无法起作用。这也许过于简化了,尽管这么做确实有效。但本质上,我们是想避免这种情况。

能否让企业和数据中心受益于YARN和Mesos的协调工作?答案是Myriad。

转载于:https://blog.51cto.com/lokihjl/1743003

Myriad简介与作用相关推荐

  1. 0欧姆电阻简介及作用

    0欧姆电阻简介及作用 一.0欧姆电阻简介 1.电阻标准文件中指出0欧姆电阻可以允许多种偏差,分别是10mΩ,20mΩ,50mΩ.罗姆,国巨,光颉的规格书中0Ω的最大最值都是50Ω. 2.根据罗姆,国巨 ...

  2. 【Java 注解】注解简介及作用

    文章目录 一.注解简介 二.注解作用 三.Java 预定义注解 一.注解简介 注释 是使用文字描述程序 , 是 给开发和维护程序的人员看的 , 编译器在编译时会将注释删除 ; 注解 也是用于 描述程序 ...

  3. iBeacon系列:一、iBeacon的简介及作用

    一.iBeacon简介 1.iBeacon是苹果公司在2013年9月份发布移动设备OS上配备的新功能,其工作方式是,配备有 低功耗蓝牙(BLE)通信功能的设备使用BLE技术向周围发送自己特有的ID,接 ...

  4. 人工智能不是计算机领域能学么,人工智能的几个热门领域简介及作用

    深度学习: 什么是深度学习: 深度学习是一种特征学习方法,把原始的数据通过非线性的复杂模型转换为更高层次.更抽象的表达. 深度学习的作用: 深度学习是机器学习研究中的一个新的领域,其动机在于建立.模拟 ...

  5. nginx简介及作用

    一:介绍 nginx是一个高性能的HTTP和反向代理服务器,其特点是占用内存少,并发能力强. 二:名词介绍 代理服务器: 代理服务器英文全称是Proxy Server,其功能就是代理网络用户去取得网络 ...

  6. MIME媒体类型:简介,作用(描述并标记多媒体内容),示例

    **MIME媒体类型(简称MIME类型)**是描述报文实体主体内容的一些标准化名称(比如,text/html.image/jpeg). 因特网有数千种不同的数据类型,HTTP仔细地给每种要通过web传 ...

  7. mysql全备和指定库和表备份,mysql日志的分类简介和作用, mysql加速跳过域名解析,mysql权限授予与收回,数据库实用篇~~Tring

    mysql改密,重置,备份,权限和日志 改密~ 修改密码 重置密码 步骤 数据库备份 用到的命令: 可加参数 : -A 参数 例子: -B 参数 例子: 备份指定数据库的某个表 恢复表 创建用户 操作 ...

  8. 分布式锁的简介与作用

    一.分布式锁背景 a.什么是锁? 从使用场景定义:当存在多个线程可以同时改变某个变量时,就需要对变量或代码块做同步,使其在修改这种变量时能够线性执行消除并发修改变量. 锁的实现方式有多种,只要能满足所 ...

  9. 网关(gateway)简介与作用

    网关的英文名称:gateway,又叫做网间连接器.协议转换器.网关是在采用不同体系结构或协议的网络之间进行互通时,用于提供协议转换.路由选择.数据交换等网络兼容功能的设施.         网关在传输 ...

最新文章

  1. 美丽的公告:小(qing)编(wa)回来啦,带来了专属于AI程序猿的问候哦!
  2. java--遍历自定义数组
  3. 沟通篇:产品经理如何与UI进行沟通
  4. PHP Warning: date(): It is not safe to rely on the system's timezone settings
  5. 阻塞队列BlockingQueue
  6. 一文贯通python文件读取 1
  7. scss里的继承操作符@extend
  8. ASA防火墙基本配置
  9. html树形结构_数据结构-线性表.md
  10. QTTabBar 使用教程:用浏览器的方式管理 Windows 资源管理器
  11. 抖音招商团长入驻条件
  12. scratch——贪吃蛇(变量、克隆、可连手柄)
  13. Hadoop学习(二)---Secondary结点的配置以及HDFS的常用命令以及API的使用
  14. couldn't recognize data in image file问题的解决方案
  15. 判断图片是否为现场照片(Live Photo亦即内含Exif信息)
  16. 蓝牙芯片设计看上海,终端产品找深圳
  17. 那些有趣又实用的开源人工智能项目 Top 10
  18. 自己私藏的一篇:和现在做网络营销、咨询公司业务有关 和技术无关 和CRM有点关系 可能给网络社区和网络营销从业者有启发
  19. jenkins构建时git报错:hudson.plugins.git.GitException: Failed to fetch from
  20. 简单的扫雷游戏(9*9)(10个雷)

热门文章

  1. opencv边界识别
  2. 如何查看固态硬盘和机械硬盘容量大小
  3. 原生js实现淘宝图片放大功能
  4. JMS消息平台FioranoMQ更新v10.3.0,改进共享HA功能
  5. 政府大数据中心数据资源平台建设方案WORD2022
  6. 领导力来自天赋?还是学习?
  7. 计算机思维入门观后感怎么写,计算思维漫谈观后感
  8. webpack——冒烟测试
  9. Unity非常简单的翻牌游戏教程,纯UI实现
  10. 经营管家|跨部门协作效率低?人员协同平台助力企业管理