Azkaban简介及安装教程
前言：
最近在实际工作中玩到了Azkaban，虽然之前有简单的接触，但是真正用到的时候，才能体会到这个工具的实用性有多强。下面就写个系列文章来记录下azkaban从简介及安装配置再到简单使用的一个过程。
1、概述
1.1、为什么需要工作流调度系统
- 一个完整的数据分析系统通常都是由大量任务单元组成：
shell脚本程序，java程序，mapreduce程序、hive脚本等 - 各任务单元之间存在时间先后及前后依赖关系
- 为了很好地组织起这样的复杂执行计划，需要一个工作流调度系统来调度执行；
例如，我们可能有这样一个需求，某个业务系统每天产生20G原始数据，我们每天都要对其进行处理，处理步骤如下所示：
- 通过Hadoop先将原始数据同步到HDFS上；
- 借助MapReduce计算框架对原始数据进行转换，生成的数据以分区表的形式存储到多张Hive表中；
- 需要对Hive中多个表的数据进行JOIN处理，得到一个明细数据Hive大表；
- 将明细数据进行复杂的统计分析，得到结果报表信息；
- 需要将统计分析得到的结果数据同步到业务系统中，供业务调用使用。
以上整个流程组成了我们的一个job，如果采用传统的linux定时任务去处理这个流程的话，存在一个巨大的隐患，job失败率很高，流程无法控制，没有预警机制。所以类似的这种工作流调度器的工具就应运而生！
1.2、工作流调度实现方式
简单的任务调度：直接使用linux的crontab来定义；
复杂的任务调度：开发调度平台或使用现成的开源调度系统，比如ooize、azkaban等
1.3、常见工作流调度系统及其特性对比
下面的表格对上述四种hadoop工作流调度器的关键特性进行了比较，尽管这些工作流调度器能够解决的需求场景基本一致，但在设计理念，目标用户，应用场景等方面还是存在显著的区别，在做技术选型的时候，可以提供参考：
1.4、Azkaban介绍
Azkaban是由Linkedin开源的一个批量工作流任务调度器。用于在一个工作流内以一个特定的顺序运行一组工作和流程。Azkaban定义了一种KV文件格式来建立任务之间的依赖关系，并提供一个易于使用的web用户界面维护和跟踪你的工作流。
它有如下功能特点：
- Web用户界面
- 方便上传工作流
- 方便设置任务之间的关系
- 调度工作流 认证/授权(权限的工作)
- 能够杀死并重新启动工作流
- 模块化和可插拔的插件机制
- 项目工作区
- 工作流和任务的日志记录和审计
2、Azkaban安装部署
2.1、准备工作
Azkaban Web服务器
azkaban-web-server-2.5.0.tar.gz
Azkaban执行服务器
azkaban-executor-server-2.5.0.tar.gz
MySQL
目前azkaban只支持 mysql,需安装mysql服务器,本文档中默认已安装好mysql服务器,并建立了 root用户,密码 root.
下载地址:http://azkaban.github.io/downloads.html
2.2、azkaban web服务器安装
将安装文件上传到集群,最好上传到安装 hive、sqoop的机器上,方便命令的执行
在当前用户目录下新建 azkabantools目录,用于存放源安装文件.新建azkaban目录,用于存放azkaban运行程序
解压azkaban-web-server-2.5.0.tar.gz 命令: tar –zxvf azkaban-web-server-2.5.0.tar.gz 将解压后的azkaban-web-server-2.5.0 移动到 azkaban目录中,并重新命名 webserver 命令: mv azkaban-web-server-2.5.0 ../azkabancd ../azkabanmv azkaban-web-server-2.5.0 server
2.3、azkaban 执行服器安装
解压azkaban-executor-server-2.5.0.tar.gz 命令:tar –zxvf
azkaban-executor-server-2.5.0.tar.gz
将解压后的azkaban-executor-server-2.5.0 移动到 azkaban目录中,并重新命名 executor 命令:mv
azkaban-executor-server-2.5.0 …/azkaban cd …/azkaban mv
azkaban-executor-server-2.5.0 executorazkaban脚本导入 解压: azkaban-sql-script-2.5.0.tar.gz 命令:tar –zxvf
azkaban-sql-script-2.5.0.tar.gz 将解压后的mysql 脚本,导入到mysql中: 进入mysql
mysql> create database azkaban; mysql> use azkaban; Database changed
mysql> source /home/hadoop/azkaban-2.5.0/create-all-sql-2.5.0.sql;
2.4、创建SSL配置
参考地址: http://docs.codehaus.org/display/JETTY/How+to+configure+SSL
命令: keytool -keystore keystore -alias jetty -genkey -keyalg RSA
运行此命令后,会提示输入当前生成 keystor的密码及相应信息,输入的密码请劳记,信息如下:
输入keystore密码：
再次输入新密码:
您的名字与姓氏是什么？[Unknown]：
您的组织单位名称是什么？[Unknown]：
您的组织名称是什么？[Unknown]：
您所在的城市或区域名称是什么？[Unknown]：
您所在的州或省份名称是什么？[Unknown]：
该单位的两字母国家代码是什么[Unknown]： CN
CN=Unknown, OU=Unknown, O=Unknown, L=Unknown, ST=Unknown, C=CN 正确吗？[否]： y
输入的主密码
（如果和 keystore 密码相同，按回车）：
再次输入新密码:
完成上述工作后,将在当前目录生成 keystore 证书文件,将keystore 考贝到 azkaban web服务器根目录中.如:cp keystore azkaban/server
2.5、配置文件
注：先配置好服务器节点上的时区
1、先生成时区配置文件Asia/Shanghai，用交互式命令 tzselect 即可
2、拷贝该时区文件，覆盖系统本地时区配置
cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
azkaban web服务器配置
进入azkaban web服务器安装目录 conf目录
- 修改azkaban.properties文件
命令vi azkaban.properties
内容说明如下:
#Azkaban Personalization Settings
azkaban.name=Test #服务器UI名称,用于服务器上方显示的名字
azkaban.label=My Local Azkaban #描述
azkaban.color=#FF3601 #UI颜色
azkaban.default.servlet.path=/index #
web.resource.dir=web/ #默认根web目录
default.timezone.id=Asia/Shanghai #默认时区,已改为亚洲/上海 默认为美国#Azkaban UserManager class
user.manager.class=azkaban.user.XmlUserManager #用户权限管理默认类
user.manager.xml.file=conf/azkaban-users.xml #用户配置,具体配置参加下文#Loader for projects
executor.global.properties=conf/global.properties # global配置文件所在位置
azkaban.project.dir=projects #database.type=mysql #数据库类型
mysql.port=3306 #端口号
mysql.host=localhost #数据库连接IP
mysql.database=azkaban #数据库实例名
mysql.user=root #数据库用户名
mysql.password=root #数据库密码
mysql.numconnections=100 #最大连接数# Velocity dev mode
velocity.dev.mode=false
# Jetty服务器属性.
jetty.maxThreads=25 #最大线程数
jetty.ssl.port=8443 #Jetty SSL端口
jetty.port=8081 #Jetty端口
jetty.keystore=keystore #SSL文件名
jetty.password=123456 #SSL文件密码
jetty.keypassword=123456 #Jetty主密码 与 keystore文件相同
jetty.truststore=keystore #SSL文件名
jetty.trustpassword=123456 # SSL文件密码# 执行服务器属性
executor.port=12321 #执行服务器端口# 邮件设置
mail.sender=xxxxxxxx@163.com #发送邮箱
mail.host=smtp.163.com #发送邮箱smtp地址
mail.user=xxxxxxxx #发送邮件时显示的名称
mail.password=********** #邮箱密码
job.failure.email=xxxxxxxx@163.com #任务失败时发送邮件的地址
job.success.email=xxxxxxxx@163.com #任务成功时发送邮件的地址
lockdown.create.projects=false #
cache.directory=cache #缓存目录
- azkaban 执行服务器executor配置
进入执行服务器安装目录conf,修改azkaban.properties
vi azkaban.properties
#Azkaban
default.timezone.id=Asia/Shanghai #时区# Azkaban JobTypes 插件配置
azkaban.jobtype.plugin.dir=plugins/jobtypes #jobtype 插件所在位置#Loader for projects
executor.global.properties=conf/global.properties
azkaban.project.dir=projects#数据库设置
database.type=mysql #数据库类型(目前只支持mysql)
mysql.port=3306 #数据库端口号
mysql.host=192.168.20.200 #数据库IP地址
mysql.database=azkaban #数据库实例名
mysql.user=root #数据库用户名
mysql.password=root #数据库密码
mysql.numconnections=100 #最大连接数# 执行服务器配置
executor.maxThreads=50 #最大线程数
executor.port=12321 #端口号(如修改,请与web服务中一致)
executor.flow.threads=30 #线程数
- 用户配置
进入azkaban web服务器conf目录,修改azkaban-users.xml
vi azkaban-users.xml 增加 管理员用户
<azkaban-users><user username="azkaban" password="azkaban" roles="admin" groups="azkaban" /><user username="metrics" password="metrics" roles="metrics"/><user username="admin" password="admin" roles="admin,metrics" /><role name="admin" permissions="ADMIN" /><role name="metrics" permissions="METRICS"/>
</azkaban-users>
2.6、启动
- web服务器
在azkaban web服务器目录下执行启动命令
bin/azkaban-web-start.sh
注:在web服务器根目录运行
或者启动到后台
nohup bin/azkaban-web-start.sh 1>/tmp/azstd.out 2>/tmp/azerr.out &
- 执行服务器
在执行服务器目录下执行启动命令
bin/azkaban-executor-start.sh
注:只能要执行服务器根目录运行
启动完成后,在浏览器(建议使用谷歌浏览器)中输入https://服务器IP地址:8443 ,即可访问azkaban服务了.在登录中输入刚才新的户用名及密码,点击 login.
Azkaban简介及安装教程相关推荐
- RabbitMQ Server简介和安装教程
引言 什么是AMQP? AMQP,即Advanced Message Queuing Protocol,高级消息队列协议,是应用层协议的一个开放标准,为面向消息的中间件设计.消息中间件主要用于组件之间 ...
- Linux系统简介-虚拟机安装教程(保姆级)-Linux常用命令
Linux系统简介-虚拟机安装教程-Linux常用命令 1.Linux系统简介 1.1Linux系统的历史 1.2Linux系统的特点和优势 1.3Linux发行版的分类 2.虚拟机的安装教程 2.1 ...
- 【Inpho精品教程】Inpho简介、安装教程（附Inpho8安装包下载）
<无人机航空摄影测量精品教程>合集目录(Pix4d.CC.EPS.PhotoScan.Inpho) Inpho UASMaster是Trimble公司旗下的一款摄影测量处理软件.本文讲解I ...
- My SQL简介与安装教程_001
My SQL简介与安装教程-@烟雨666 文章目录 **My SQL简介与安装教程-@烟雨666** 一.课程引入 1.1.背景 1.2.简介 1.3.为什么要学习数据库 1.3.1.背景 1.3.2 ...
- Git简介、安装教程附安装包
文章目录 前言 一.git简介 二.下载安装教程 前言 团队合作,使用git是必不可少的,下面是git相关内容以及安装教程附安装包 一.git简介 1) 版本库(version control sys ...
- 数据加密与安全专题《mbedtls工具篇，实用教程1@mbedtls简介和安装教程》
引言 物联网的关键在与可通过网络进行远程数据传输与控制,例如手机APP控制家里的摄像头.微波炉等,安全问题尤为重要,对传输数据进行加密传输成为保障网络安全的必然手段之一,在物联网领域,比较成熟且应用 ...
- MySQL简介及安装教程
目录 MySQL简介 MySQL的介绍 MySQL的特点 MySQL的安装和使用 MySQL图形界面管理软件 Navicat16 文末资源推荐 每文一语
- Altium designer--软件简介及安装教程（AD）
一.软件介绍(完整安装包资源见文末链接) Altium Designer 是一款简单易用.原生3D设计增强的一体化设计环境,结合了原理图.ECAD库.规则和限制条件.BoM.供应链管理.ECO流程和世 ...
- Multisim--软件简介及安装教程（含Multisim14安装包资源）
一.软件介绍(完整安装包资源见文末链接) NI Multisim软件结合了直观的捕捉和功能强大的仿真,能够快速.轻松.高效地对电路进行设计和验证.凭借NI Multisim,您可以立即创建具有完整组件 ...
最新文章
- 命令行运行Python脚本时传入参数的三种方式
- HMM与条件随机场区别 转
- 快讯！Sharding-Sphere正式进入Apache孵化器
- paramterType和resultType的区别
- 让VS2005用起来更顺手
- 【蓝桥杯单片机】IAP15在线仿真实验：Connecting to target system lost！please reset your target system and try again
- OpenCV探索之路——图像形态学处理（膨胀、腐蚀、开运算、闭运算）
- 断路器之一：Hystrix 使用与分析
- Cocos2d-x学习笔记（十一）动作
- IBM/ORACLE/EMC在银行业的重要性
- dell系统重装后无法进入系统_戴尔系统重装进入bios设置方法
- SQLServer中统计年,季,月,周,日平均值
- 几个维度带你了解什么是聚合支付
- 从冲突到和谐：智能新文化环境中人机关系的伦理重构
- pdf文件转换ppt可编辑_创建，转换和编辑PDF文件的免费工具
- Android商家端线下支付流程详解
- windows下安装ROS 2 Foxy详解
- 基于OpenCV实现海岸线变化检测
- 浅谈K8S的容器管理
- Git中的工作区和暂存区