大数据技术——Azkaban(阿兹卡班)
为什么需要工作流调度系统?
Azkaban的适合用场景?
什么是Azkaban?
Azkaban特点
常见工作流调度系统
ooize和azkaban特性对比
Azkaban的架构
为什么需要工作流调度系统?
1)一个完整的数据分析系统通常都是由大量任务单元组成:
shell脚本程序,java程序,mapreduce程序、hive脚本等
2)各任务单元之间存在时间先后及前后依赖关系
3)为了很好地组织起这样的复杂执行计划,需要一个工作流调度系统来调度执行;
例如,我们可能有这样一个需求,某个业务系统每天产生20G原始数据,我们每天都要对其进行处理,处理步骤如下所示:
1) 通过Hadoop先将原始数据上传到HDFS上(HDFS的操作);
2) 使用MapReduce对原始数据进行清洗(MapReduce的操作);
3) 将清洗后的数据导入到hive表中(hive的导入操作);
4) 对Hive中多个表的数据进行JOIN处理,得到一张hive的明细表(创建中间表);
5) 通过对明细表的统计和分析,得到结果报表信息(hive的查询操作);
Azkaban的适用场景?
根据以上业务场景: (2)任务依赖(1)任务的结果,(3)任务依赖(2)任务的结果,(4)任务依赖(3)任务的结果,(5)任务依赖(4)任务的结果。一般的做法是,先执行完(1)再执行(2),再一次执行(3)(4)(5)。
这样的话,整个的执行过程都需要人工参加,并且得盯着各任务的进度。但是我们的很多任务都是在深更半夜执行的,通过写脚本设置crontab执行。其实,整个过程类似于一个有向无环图(DAG)。每个子任务相当于大任务中的一个节点,也就是,我们需要的就是一个工作流的调度器,而Azkaban就是能解决上述问题的一个调度器。
什么是azkaban?
Azkaban是由Linkedin公司推出的一个批量工作流任务调度器,主要用于在一个工作流内以一个特定的顺序运行一组工作和流程,它的配置是通过简单的key:value对的方式,通过配置中的dependencies 来设置依赖关系。Azkaban使用job配置文件建立任务之间的依赖关系,并提供一个易于使用的web用户界面维护和跟踪你的工作流。
Azkaban特点
1) 兼容任何版本的hadoop
2) 易于使用的Web用户界面
3) 简单的工作流的上传
4) 方便设置任务之间的关系
5) 调度工作流
6) 模块化和可插拔的插件机制
7) 认证/授权(权限的工作)
8) 能够杀死并重新启动工作流
9) 有关失败和成功的电子邮件提醒
常见工作流调度系统
1)简单的任务调度:直接使用crontab实现;
2)复杂的任务调度:开发调度平台或使用现成的开源调度系统,比如ooize、azkaban等
ooize和azkaban特性对比
下面的表格对上述四种hadoop工作流调度器的关键特性进行了比较,尽管这些工作流调度器能够解决的需求场景基本一致,但在设计理念,目标用户,应用场景等方面还是存在显著的区别,在做技术选型的时候,可以提供参考
Azkaban的架构
Azkaban由三个关键组件构成:
1) AzkabanWebServer:AzkabanWebServer是整个Azkaban工作流系统的主要管理者,它用户登录认证、负责project管理、定时执行工作流、跟踪工作流执行进度等一系列任务。
2) AzkabanExecutorServer:负责具体的工作流的提交、执行,它们通过mysql数据库来协调任务的执行。
3) 关系型数据库:存储大部分执行流状态,AzkabanWebServer和AzkabanExecutorServer都需要访问数据库。
大数据技术——Azkaban(阿兹卡班)相关推荐
- 大数据技术基础_【基础】大数据技术栈介绍
大数据技术的体系庞大且复杂,基础的技术包含数据的采集.数据预处理.分布式存储.NoSQL数据库.数据仓库.机器学习.并行计算.可视化等各种技术范畴和不同的技术层面. 首先给出一个通用化的大数据处理框架 ...
- 2021阿里巴巴大数据技术公开课第一季:外部工具连接SaaS模式云数仓MaxCompute实战
简介:MaxCompute 是面向分析的企业级 SaaS 模式云数据仓库,以 Serverless 架构提供快速.全托管的在线数据仓库服务,消除了传统数据平台在资源扩展性和弹性方面的限制,最小化用户运 ...
- 大数据技术的概论(2)
1.5大数据带来多大变革 1技术变革特征 2管理模式变革(人力,流程,制造,市场) 1)数据资产化 2)决策智能化 3信息技术IT向数据技术DI的转变 相关资料:当地时间11月23日,世界贸易组织(W ...
- 大数据技术之Hadoop-入门
第1章 Hadoop概述 1.1 Hadoop是什么 分布式:多台服务器共同完成某一项任务. 1.2 Hadoop发展历史 1.3 Hadoop三大发行版本 Hadoop三大发行版本:Apache.C ...
- 大数据技术系列(1)
大数据技术概述 转载于:https://younger.blog.csdn.net/article/details/127632128?spm=1001.2014.3001.5502 仅仅作为个人 ...
- 大数据技术之Canal入门篇
大数据技术之Canal入门篇 文章目录 大数据技术之Canal入门篇 写在前面 第 1 章 Canal 入门 1.1 什么是 Canal 1.2 MySQL 的Binlog 1.2.1 什么是 Bin ...
- 大数据技术系列:图解【大数据平台开发】
导言 在前面的文章<「大数据技术体系」学习实践导览>中,概要式的梳理了大数据平台的业务目标,大数据平台的架构框架,大数据平台中常用的技术及工具,数据治理四方面的内容,算是对自身所了解大数据 ...
- 一文看懂大数据生态圈完整知识体系【大数据技术及架构图解实战派】
一文看懂大数据生态圈完整知识体系 徐葳 随着大数据行业的发展,大数据生态圈中相关的技术也在一直迭代进步,作者有幸亲身经历了国内大数据行业从零到一的发展历程,通过本文希望能够帮助大家快速构建大数据生态圈 ...
- 最全大数据技术知识体系
大数据技术知识体系 大数据技术知识体系 --持续更新,建议收藏 最早提出"大数据"时代到来的是全球知名咨询公司麦肯锡,麦肯锡称:"数据,已经渗透到当今每一个行业和业务职能 ...
- 关于大数据技术的演讲_大数据以及大数据技术都包括哪些内容
大数据经过多年的发展,目前在概念上已经有了更多的含义,从不同的角度来看待大数据也会有不同的定义,但是总的来说,大数据可以用三个方面来进行概括,其一是"新的价值领域";其二是&quo ...
最新文章
- 大连评职称英语计算机,假如 职称英语和中级职称的工商管理、经济基础都考过了,辞职了还有地方给评中级经济师吗?大连的...
- linux分区空间不足--lvm逻辑卷的实现过程
- k8s问题 CrashLoopBackOff
- CSDN鸿蒙社区福利:HarmonyOS Beta 版内测资格申请
- Tomcat下找不到properties文件
- 笔记72 高级SSM整合
- 前台向后台传递汉字参数时遭遇的问题
- 软件评测-信息安全-应用安全-资源控制-用户登录限制(上)
- 深度Q学习——从入门到实践
- SMART200 DP01模块通讯问题
- GBASE 8s DB-Access入门
- 《电路(邱关源)》第五版重难点记录(长期更新)
- 移动光猫怎么设置虚拟服务器设置,移动光纤猫如何设置,怎样连接和设置光猫和路由器...
- 测试用例设计方法——等价类划分法、边界值分析法、场景法、判定表、因果图、错误推测法和正交试验法
- Windows安全加固简介
- 为什么P2P模式下载的人越多速度越快,为什么P2P伤害机械硬盘
- 黑马旅游网 —— 登录/注册案例
- 【算法】二分法多种情况详解
- 利用新浪API实现数据的抓取\微博数据爬取\微博爬虫
- hbuilder前端需要的插件_这两款HTML5开发工具,前端开发工程师用了直呼内行
热门文章
- 2022年4月携程暑期实习 搜索推荐算法岗面试题
- 【DevOps研发管理方案】一:方案简介
- 苹果手机登录华为账号无法连接服务器,华为手机登录华为帐号时,显示“没法连接到服务器”是什么情况?...
- 第20届上海大学程序设计联赛春季赛(同步赛)
- 2021动画渲染农场排名出炉,渲染101综合领先,赛诚和瑞云Renderbus紧随其后!
- FinalShell下载安装教程
- 新手操作孕妇防辐射服暴利项目,也能日入500+
- 图文详解优麒麟系统安装教程(建议收藏)
- Rhino6.5软件安装教程|兼容WIN10
- 【理财】富爸爸穷爸爸