Hadoop - 任务调度系统比较
1.概述
在Hadoop应用,随着业务指标的迭代,而使其日趋复杂化的时候,管理Hadoop的相关应用会变成一件头疼的事情,如:作业的依赖调度,任 务的运行情况的监控,异常问题的排查等,这些问题会是的我们日常的工作变得复杂。那么,在没有条件和精力去开发一套调度系统的情况下,我们去选择一款第三 方开源的调度系统,来尽量减轻和降低我们日常工作的复杂度,也是极好的。今天,笔者给大家比较几种常见的调度系统,供大家去选择。
2.内容
2.1 Oozie
Oozie目前是托管在Apache基金会的,开源。在之前的博客《Oozie调度》 一文当中,介绍相关Oozie的调度,如何去调度Hadoop的相关,大家可以从博客的文中所描述的内容看出,配置的过程略显繁琐和复杂,配置相关的调度 任务比较麻烦,然其可视化界面也不是那么的直观,另外,对UI界面要求较高的同学,此调度系统估计会让你失望。若是对改调度系统感兴趣的同学可以到《Oozie调度》一文中做相关细节的了解。这里就不多做赘述了。
2.2 Zeus
它是一个Hadoop的作业平台,从Hadoop任务的调试运行到生产任务的周期调度,它支持任务的整个生命周期。从其功能来看,它支持以下任务:
- Hadoop的MapReduce任务调度运行
- Hive任务的调度运行
- Shell任务的运行
- Hive元数据的可视化展示查询及数据预览
- Hadoop任务的自动调度
其开源地址在Github上面,可在Github搜索Zeus,即可找到相关工程。Zeus是由阿里巴巴开源出来的,文档在Github上描述的也比较详细,其相关安装步骤及使用方法可参考Github上的官方文档,这里就不多做赘述了。
2.3 Azkaban
这是由LinkedIn创建的一个批处理工作流,用于跑Hadoop的Jobs。Azkaban提供了一个易于使用的用户界面来维护和跟踪你的工作流程。其可视化界面如下所示:
另外,Github上贡献的Azkaban调度系统的源码量不大,做二次开发难度不大。其功能点涉及以下内容:
- 兼容Hadoop版本
- 易用的Web UI
- 简单的Web和Http工作流的上传
- 项目工作区
- 工作流调度
- 模块化和插件化
- 认证和授权
- 用户行为跟踪
- 邮件告警失败和成功
- SLA告警
- 重启失败的Jobs
Azkaban的设计之初主要是基于可用性的考虑。在LinkedIn运行的有些年头了,一直驱动着它们的Hadoop和数据仓库。
它由3个关键部分组成,分别是:
- 关系行数据库(MySQL):Azkaban使用MySQL去做一些状态的存储。AzkabanWebServer和AzkabanExecutorServer这两个服务都需要接入到DB库当中。
- AzkabanWebServer:WebServer使用DB的原因如下:
- 项目管理:对项目权限和上传文件的管理。
- 执行流程状态:对正在执行的程序进行跟踪。
- 之前的流程或Jobs:通过搜索先前的工作和流程,去访问它们的日志文件。
- 调度程序:保持预定的工作状态。
- SLA:保持所有的SLA规则。
- AzkabanExecutorServer:另外,ExecutorServer使用DB的原因如下所示:
- 获取项目:从数据库中检索项目文件。
- 执行工作流或Jobs:检索和更新流的数据,并执行。
- Logs:存储作业的输出日志,并将其流入数据库。
- 不同的依赖进行交流:如果一个流在不同的执行器上运行,它将从数据库中取取状态。
三者的关系图,如下所示:
关于其相关配置和使用,官方给出的文档比较详细,这里就不多赘述了。大家可以到Github去阅读官方给出的文档。
3.总结
关于调度系统的选择,这里就比较了这3种,大家可以适情况而定,另外,若是条件允许或是有精力也可以参考这些调度系统的原理,开发一套满足自己当前业务的调度系统,也不失为一种选择。
4.结束语
这篇博客就和大家分享到这里,如果大家在研究学习的过程当中有什么问题,可以加群进行讨论或发送邮件给我,我会尽我所能为您解答,与君共勉!
Hadoop - 任务调度系统比较相关推荐
- 工作流任务调度系统:Apache DolphinScheduler
1 概述 Apache DolphinScheduler(目前处在孵化阶段)是一个分布式.去中心化.易扩展的可视化DAG工作流任务调度系统,其致力于解决数据处理流程中错综复杂的依赖关系,使调度系统在数 ...
- 赫拉(hera)分布式任务调度系统之项目启动(二)
文章目录 赫拉 创建表 打包部署 测试 TIPS 加入群聊 赫拉 大数据平台,随着业务发展,每天承载着成千上万的ETL任务调度,这些任务集中在hive,shell脚本调度.怎么样让大量的ETL任务准确 ...
- 开源分布式任务调度系统就选它!
分布式任务调度这个话题是每个后端开发和大数据开发都会接触的话题.因为应用场景的广泛,所以有很多开源项目专注于解决这类问题,比如我们熟知的xxl-job. 那么今天要给大家推荐的则是另一个更为强大的开源 ...
- 大数据任务调度系统-Hera
一.前言 在大数据平台,随着业务发展,每天承载着成千上万的ETL(Extract-Transform-Load 数据抽取,转换,装载)任务调度,这些任务集中在hive,shell脚本调度.怎么样让大量 ...
- 赫拉(hera)分布式任务调度系统之开发中心(三)
文章目录 赫拉 简介 目录介绍 创建一个脚本 执行选中的代码 上传资源 同步任务 脚本自动保存 加入群聊 赫拉 大数据平台,随着业务发展,每天承载着成千上万的ETL任务调度,这些任务集中在hive,s ...
- 腾讯会议大规模任务调度系统架构设计
疫情期间,很多企业受到了较大冲击,正常的复工生产无法进行.腾讯会议作为一款非常便捷的远程协作工具,成为了国内众多企业日常会议沟通交流的主要平台,这款产品从2019年12月26号正式推出,如何在这么短的 ...
- 分布式任务调度系统V1
分布式任务调度系统V1目标 初步目标实现,实现任务的下发分配,分布式任务执行,支持任务分片(在代码上支持),任务执行记录. 任务调度系统构思 基于C/S架构实现,基于长连接来管理实现,当前版本的逻辑架 ...
- slurm任务调度系统部署和测试(一)
1.概述 本博客通过VMware workstation创建了虚拟机console,然后在console内部创建了8台kvm虚拟机,使用这8台虚拟机作为集群,来部署配置和测试slurm任务调度系统. ...
- 【Python】轻量级分布式任务调度系统-RQ
一 前言 Redis Queue 一款轻量级的P分布式异步任务队列,基于Redis作为broker,将任务存到redis里面,然后在后台执行指定的Job.就目前而言有三套成熟的工具cele ...
- 这些优秀的国产分布式任务调度系统,你用过几个?
2019独角兽企业重金招聘Python工程师标准>>> 分布式调度在互联网企业中占据着十分重要的作用,尤其是电子商务领域,由于存在数据量大.高并发的特点,对数据处理的要求较高,既要保 ...
最新文章
- java windows wrapper_Java Service Wrapper 使用(windows)
- HDOJ 1214 圆桌会议
- 流程的python-流畅的Python
- [Usaco2007 Oct] Super Paintball超级弹珠
- Spark分区器HashPartitioner和RangePartitioner代码详解
- activiti动态增加节点_图神经网络之动态图
- Linux下设置和查看环境变量
- leetcode 897. 递增顺序搜索树(中序遍历)
- asp.net(C#)写SQL语句技巧
- MySQL学习笔记:MySQL管理
- 家里有古玩古董摆放在家中好吗?
- 如何构建config文件
- 微软官方Windows_Hello生物识别驱动设计指南
- su如何变成实体_Sketchup实体工具怎么使用? SU实体工具的使用方法
- 一点排位就安全异常退出_鸡肉的嘌呤高吗?高尿酸血症和痛风人群可以吃吗?怎么吃才安全呢...
- 折腾修改SQLCipher静态库的符号表
- 富士康服务器主板维修,富士康865gv主板不跑码维修 - 主板知识
- 用Python爬取王者农药英雄皮肤 原
- LED照明各国认证及标准发展趋势
- linux运维常用命令整理