apache mesos_在Twitter上使用Apache Mesos和Apache Aurora进行资源调度和任务启动

apache mesos

播客的第23集是与Bill Farner的谈话

Bill解释了Twitter如何使用Apache Mesos和Apache Aurora在硬件上获得更多收益，并通过在整个基础架构中利用细粒度的资源调度来节省工程时间（开发和运营）。 Bill谈到了他在Borg上与Google一起在Google上所见到和所经历的力量是如何想在Twitter上运行事物以及他们为Aurora打造什么的。经过多年在Twitter上的生产运行之后，Aurora是开源的，是Apache基金会的一部分，可以使用。他们看不到的许多新用例对于他们的团队来说已经变得非常强大，Bill也对此进行了更详细的介绍。

Bill还谈到了使用Aurora中的功能完成的检测的类型，以使现在Twitter上的所有新系统和几乎所有旧系统都在Aurora上运行。 Bill详细介绍了有关Twitter缓存的工作方式以及Aurora的SLA功能如何使其成为现实。 Aurora令人惊叹，它为最终用户（从工程师到分析师的每个人）提供了完全访问其硬件群集的潜在资源的能力。 Aurora提供了配额和抢占等功能，因此可以为任何用户提供对整个硬件基础架构的计算资源的访问权限，而不必担心会浪费资源并始终将生产始终作为优先事项。

Apache Mesos从计算机（物理或虚拟）中提取CPU，内存，存储和其他计算资源，从而使容错和弹性的分布式系统易于构建和有效运行。 Mesos是使用与Linux内核相同的原理构建的，只是在不同的抽象级别上。 Mesos内核在每台机器上运行，并为应用程序（例如Hadoop，Spark，Kafka，Elastic Search）提供API，用于在整个数据中心和云环境中进行资源管理和调度。

Apache Aurora是一个Mesos框架。 Mesos框架是资源的调度程序和任务的启动程序。 Aurora提供的Job抽象由Task模板和用于创建该Task几乎相同的副本的说明组成。通常，任务是与单个命令行相对应的单个进程，例如python2.6 my_script.py 。但是，有时您必须在单个任务中将单独的进程并置在一起，这些任务在单个容器和chroot （通常称为“沙盒”）中运行。例如，如果您同时运行多个协作代理，例如logrotate ， installer以及主或从属进程。 Thermos在Mesos任务下提供了过程抽象。

要使用Aurora并快速入门，您应该按以下顺序查看此目录中的文档：

如何在私人计算机上的虚拟机上部署Aurora或如何安装Aurora （本教程使用虚拟机方法）。
作为用户，您可以通过Tutorial快速入门。
有关引擎盖下Aurora处理流程的概述，请参阅《用户指南》。
要了解如何编写配置文件，请参阅我们的配置教程。从那里，查看Aurora + Thermos Reference 。
然后在Aurora命令行客户端上阅读。
查找有关Aurora如何执行资源隔离的常规信息和有用的技巧。

有关Mesos和Aurora的更多背景知识，请查看以下三个视频。

使用Apache Mesos进行数据中心管理

Apache Aurora简介视频

Apache Aurora的过去，现在和未来

翻译自: https://www.javacodegeeks.com/2014/10/resource-scheduling-and-task-launching-with-apache-mesos-and-apache-aurora-at-twitter.html

apache mesos