azkaban安装Solo Server
azkaban安装 Solo Server
azkaban 3.57.0 编译
1、下载源码包 官网地址为:https://github.com/azkaban/azkaban/archive/3.57.0.tar.gz
清空编译
结果如下:
[root@hadoop01 home]# tar -zxvf /home/azkaban-3.57.0.tar.gz -C /usr/local
[root@hadoop01 home]# cd ./azkaban-3.57.0
[root@hadoop01 azkaban-3.57.0]# ./gradlew clean
编译并安装插件
结果如下:速度可能很慢!!!(我的一个小时)
root@hadoop01 azkaban-3.57.0]# ./gradlew installDist
编译但不运行测试
root@hadoop01 home]# ./gradlew build -x test
编译结果如下:
编译成功后,在目录下{azkaban-solo-server、azkaban-web-server、azkaban-execserver}/build/distributions目录下都会生成相应的压缩包
[root@hadoop01 azkaban-3.57.0]# cp ./azkaban-execserver/build/distributions/azkaban-exec-server-0.1.0-SNAPSHOT.tar.gz /usr/local/azkaban3.57.0
[root@hadoop01 azkaban-3.57.0]# cp ./azkaban-soloserver/build/distributions/azkaban-solo-server-0.1.0-SNAPSHOT.tar.gz /usr/local/azkaban3.57.0
[root@hadoop01 azkaban-3.57.0]# cp ./azkaban-webserver/build/distributions/azkaban-web-server-0.1.0-SNAPSHOT.tar.gz /usr/local/azkaban3.57.0
[root@hadoop01 azkaban-3.57.0]# cp ./azkaban-db/build/distributions/azkaban-db0.1.0-SNAPSHOT.tar.gz /usr/local/azkaban3.57.0
编译过程中,如有错误,需要再次运行编译命令。
编译过程中,如果包不能下载,则可以考虑手动下载放到服务器对应的位置即可。
Solo Server安装
1、Solo Server简介
这种Solo Server服务是azkaban的单机版,即是单实例,它安装简单,便于学习。他的优点如下: 安装简单:不需要msql实例,它内置h2来做存储。 启动简单:web server和executor server都运行在相同进程中。 功能齐全:它包含所有azkaban的特征。你可以使用azkaban用这种通用方法并为其安装插件。
2、安装
[root@hadoop01 azkaban3.57.0]# mkdir /usr/local/azkaban
[root@hadoop01 azkaban3.57.0]# tar -zxvf /usr/local/azkaban3.57.0/azkaban-soloserver-0.1.0-SNAPSHOT.tar.gz -C /usr/local/azkaban
[root@hadoop01 azkaban3.57.0]# cd /usr/local/azkaban/
[root@hadoop01 azkaban]# mv ./azkaban-solo-server-0.1.0-SNAPSHOT/ ./soloserver
[root@hadoop01 azkaban]# cd ./soloserver/
3、配置用户
[root@hadoop01 soloserver]# vi ./conf/azkaban-users.xml 在第4行添加内容如下: <user password="admin" roles="metrics,admin" username="admin"/>
soloserver的安装配置完成。
测试
启动(注意在soloserver的目录下启动),如果服务未启动,可在启动目录下查看日志信息
[root@hadoop01 soloserver]# ./bin/start-solo.sh
2、测试启动是否成功
浏览器访问http://hadoop01:8081/:
点击登录如下:user:admin p:admin
3.创建项目
4、停止服务
[root@hadoop01 soloserver]#./bin/shutdown-solo.sh
azkaban的command job案例
1、创建job(一定要注意编码!!)
type=command
command=echo 'hello_azkaban'
2、将job打包zip并上传
3、运行job
然后exexute—>continue.即可执行。
4、查看结果
Azkanban的shell脚本调度案例
1、创建一个shell文件(注意编码)
文件名azshell.sh,内容如下:
#!/bin/bash echo hello_azkaban >> /home/log/az.log
2、创建job(注意编码)
type=command command=/bin/bash azshell.s
3、打包job(一定要将azshell.sh和azshell.job打包进来)
4、上传压缩包并执行
查看结果
azkaban的mapreduce的案
1、创建job(注意编码)
type=command command=/usr/local/hadoop-2.7.1/bin/yarn jar hadoop-mapreduce-examples-2.7.1.jar wordcount /words /out/az00
2、将job打包zip并上传
3、运行
4、查看结果
azkabn的依赖案例
1、创建jobB(注意编码)
#!/bin/bash
echo hello_bbb >/home/log/b.log sleep 66s
type=command
command=/bin/bash b.sh
2、创建jobA,并且jobA依赖jobB(注意编码)
#!/bin/bash echo hello_aaa >/home/log/a.log
type=command
dependencies=jobB
command=/bin/bash a.sh
将job打包zip并上传
[外链图片转存失败(img-JVGWnSao-1569415366425)(1569415311472.png)]
3、运行job
然后exexute—>continue.即可执行。
4、查看结果
azkaban安装Solo Server相关推荐
- azkaban安装编译3.86 教程
Azkaban is a batch workflow job scheduler created at LinkedIn to run Hadoop jobs. Azkaban resolves t ...
- Azkaban的囚徒——Azkaban安装和介绍
文章目录 Azkaban简介 Azkaban安装 Azkaban配置 azkaban.properties azkaban-users.xml Azkaban简介 为什么需要工作流调度器? 1.一个完 ...
- Azkaban安装部署,配置文件配置,启动等
1 Azkaban安装部署 准备工作 Azkaban Web服务器 azkaban-web-server-2.5.0.tar.gz Azkaban执行服务器 azkaban-executor-serv ...
- 系统讲解Azkaban安装及基本操作实用篇
一,概述 1.1什么是 Azkaban Azkaban是由Linkedin公司推出的一个批量工作流任务调度器,主要用于在一个工作流内以一个特定的顺序运行一组工作和流程,它的配置是通过简单的key:va ...
- azkaban安装使用
azkaban安装使用 一.安装 1. 准备工作 1.1 下载 1.2 环境要求 2. 配置 2.1 软件配置 2.1.1 数据库准备 2.1.2 exec-server配置 2.1.2.1 exec ...
- Azkaban Multi Executor Server 快速入门
1.在vim /etc/my.cnf下增加 max_allowed_packet=1024M 2.重启mysql 3.在/opt/azkaban-3.52.0/azkaban-db/build/ins ...
- RabbitMQ学习笔记一:本地Windows环境安装RabbitMQ Server
一:安装RabbitMQ需要先安装Erlang语言开发包,百度网盘地址:http://pan.baidu.com/s/1jH8S2u6.直接下载地址:http://erlang.org/downloa ...
- 2、安装Lync Server 2013
一.实验环境拓扑的准备工作 二.开始安装Lync Server 2013 安装Lync Server系统主要包含以下的内容:安装本地配置存储.安装Lync Server 组件.请求并分配Lync证书. ...
- 数据库开发基本操作-安装Sql Server 2005出现“性能监视器计数器要求”错误解决方法...
今天在安装SQL Server 2005时,出现"性能监视器计数器要求"错误,因为以前出现过这种错误,得到了解决.今天又又出现这种错误,但并不是很清楚当时的解决办法,所以这次把解决 ...
最新文章
- 给一维数组输入6个整数,假设为5,7,4,8,9,1
- PAT乙级 1022 D进制的A+B
- 基于PCA和SVM的人脸识别系统-error修改
- 关于科来网络分析系统的激活
- 机器学习非平衡数据集概述
- 比较万能的匹配邮箱的正则表达式
- 【超图+CESIUM】【基础API使用示例】28、超图|CESIUM -【坐标转换】经纬度转世界坐标
- 批量打印证书 php,巧用WPS2013批量打印证书
- 【读书笔记】大数据 数据挖掘 相关
- 霸榜11个月,神车MINI EV进退两难!
- JVM上篇:内存与垃圾回收篇--运行时数据区四-程序计数器
- 【Algorithm】数学归纳法
- 每部都是经典 一生不能不看的电影
- windows默认共享的打开和关闭
- 产品生命周期,鸿沟理论和CNCF项目孵化
- rpcx服务框架浅析13-远程调用
- font-weight与ps字体粗细对应
- 如何用统计学指导自己的生活?
- vue.js 密码加密_密码演化史-1
- Android Camera曝光