Azkaban实战,Command类型单一job示例,任务中执行外部shell脚本,Command类型多job工作flow,HDFS操作任务,MapReduce任务,HIVE任务
1.Azkaban实战
Azkaba内置的任务类型支持command、java
Command类型单一job示例
1、创建job描述文件
vi command.job
#command.job
type=command
command=echo 'hello'
2、将job资源文件打包成zip文件
zip command.job
3、通过azkaban的web管理平台创建project并上传job压缩包
首先创建project
上传zip包,例如:
zip包中的内容如下:
上传界面:
4、启动执行该job
可以查看脚本的内容:
执行工作流:
上面的已经变成了绿色了,表示已经执行完成了。
上面的repeat表示每天执行一次
1.2.通过任务执行shell脚本
编写command.job文件
内容如下:
#command.job
type=command
command=sh hello.sh
上面的command=sh hello.sh表示的意思是执行hello.sh脚本,其中hello.sh的脚本如下:
#!/bin/bash
echo 'hello' > /home/tuzq/software/azkabandata/hello.txt
按照上面的案例,上传上去,并且执行。
上传任务的脚本
执行工作流:
进入/home/tuzq/software/azkabandata查看是否有文件:
[root@hadoop1 azkabandata]# cd /home/tuzq/software/azkabandata
[root@hadoop1 azkabandata]# ls
hello.txt
[root@hadoop1 azkabandata]# cat hello.txt
hello
[root@hadoop1 azkabandata]#
1.3.Command类型多job工作流flow
1、创建有依赖关系的多个job描述
第一个job:foo.job
# foo.job
type=command
command=echo foo
第二个job:bar.job依赖foo.job
# bar.job
type=command
#表示这个命令依赖foo这个任务
dependencies=foo
command=echo bar
2、将所有job资源文件打到一个zip包中
3、在azkaban的web管理界面创建工程并上传zip包
4、启动工作流flow
1.4.HDFS操作任务
1、创建job描述文件
# fs.job
type=command
command=/home/tuzq/software/hadoop-2.8.0/bin/hdfs dfs -mkdir /azaz
2、将job资源文件打包成zip文件
3、通过azkaban的web管理平台创建project并上传job压缩包
4、启动执行该job
通过上满的结果可以证明,可以通过job来自行hdfs的命令
1.5.MAPREDUCE任务
Mr任务依然可以使用command的job类型来执行
1、创建job描述文件,及mr程序jar包(示例中直接使用hadoop自带的example jar)
# mrwc.job
type=command
command=/home/tuzq/software/hadoop-2.8.0/bin/hadoop jar hadoop-mapreduce-examples-2.8.0.jar wordcount hdfs://hadoop1/wordcount/input hdfs://hadoop1/wordcount/azout
2、将所有job资源文件打到一个zip包中
其中hadoop-mapreduce-examples-2.8.0.jar 在$HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.8.0.jar
3、在azkaban的web管理界面创建工程并上传zip包
上传之后的准备工作是:
将wordcount/input上传到hdfs,命令如下:
[root@hadoop1 software]# hdfs dfs -put wordcount /
[root@hadoop1 software]# hdfs dfs -ls /
Found 8 items
drwxr-xr-x - root supergroup 0 2017-06-13 12:01 /40000
drwxr-xr-x - root supergroup 0 2017-06-14 18:31 /azaz
drwxr-xr-x - root supergroup 0 2017-06-13 23:43 /flume
drwxr-xr-x - root supergroup 0 2017-06-14 18:46 /input
-rw-r--r-- 3 root supergroup 3719 2017-06-10 12:11 /kms.sh
drwxrwxrwx - root supergroup 0 2017-06-14 18:43 /tmp
drwxr-xr-x - root supergroup 0 2017-06-10 22:27 /user
drwxr-xr-x - root supergroup 0 2017-06-14 18:47 /wordcount[root@hadoop1 software]# hdfs dfs -ls hdfs:/wordcount/input
Found 9 items
-rw-r--r-- 3 root supergroup 604 2017-06-14 18:47 hdfs:///wordcount/input/1.txt
-rw-r--r-- 3 root supergroup 604 2017-06-14 18:47 hdfs:///wordcount/input/2.txt
-rw-r--r-- 3 root supergroup 604 2017-06-14 18:47 hdfs:///wordcount/input/3.txt
-rw-r--r-- 3 root supergroup 604 2017-06-14 18:47 hdfs:///wordcount/input/4.txt
-rw-r--r-- 3 root supergroup 604 2017-06-14 18:47 hdfs:///wordcount/input/5.txt
-rw-r--r-- 3 root supergroup 27209520 2017-06-14 18:47 hdfs:///wordcount/input/a.txt
-rw-r--r-- 3 root supergroup 27209520 2017-06-14 18:47 hdfs:///wordcount/input/aaa.txt
-rw-r--r-- 3 root supergroup 27787264 2017-06-14 18:47 hdfs:///wordcount/input/b.txt
-rw-r--r-- 3 root supergroup 26738688 2017-06-14 18:47 hdfs:///wordcount/input/c.txt
其中1.txt中内容类似:
4、启动job
现象:
执行完成之后的状态是:
查看hdfs上的内容:
开始的时候发现在/wordcount下只有input这个文件夹,当执行完成之后,发现有了azout这个文件夹。
综上所述,说明通过azkaban在hdfs上生成了文件
1.5.HIVE脚本任务
创建job描述文件和hive脚本
Hive脚本: test.sql
use default;
drop table aztest;
create table aztest(id int,name string) row format delimited fields terminated by ',';
load data inpath '/aztest/hiveinput' into table aztest;
create table azres as select * from aztest;
insert overwrite directory '/aztest/hiveoutput' select count(1) from aztest;
Job描述文件:hivef.job
#hivef.job
type=command
command=/home/tuzq/software/hive/apache-hive-1.2.1-bin/bin/hive -f 'test.sql'
2、将所有job资源文件打到一个zip包中
3、在azkaban的web管理界面创建工程并上传zip包
4、启动job
准备工作(在hdfs上创建一个hive执行sql后依赖的文件夹):
[root@hadoop1 apache-hive-1.2.1-bin]# hdfs dfs -mkdir -p /aztest/hiveoutput
执行完成之后效果如下:
特别注意的是:如果执行错了,可以查看任务的日志输出:
Azkaban实战,Command类型单一job示例,任务中执行外部shell脚本,Command类型多job工作flow,HDFS操作任务,MapReduce任务,HIVE任务相关推荐
- python中 是什么类型_浅谈python中的变量默认是什么类型
浅谈python中的变量默认是什么类型 1.type(变量名),输出的结果就是变量的类型: 例如 >>> type(6) 2.在Python里面变量在声明时,不需要指定变量的类型,变 ...
- matlab 查看dll的函数参数类型,MATLAB调用dll文件中的库函数时的变量类型匹配问题?...
我用MATLAB调用dll来进行USB数据采集运行 libfunctions USBAD -full 得到: Functions in library USBAD: [lib.pointer, vo ...
- shell脚本实战:
语言的类型 解释型 计算机不能直接理解任何除机器语言以外的语言,所以必须要把程序员所写的程序语言翻译成机器语言,计算机才能执行程序. 将其他语言翻译成机器语言的工具,被称为解释器. 编译器翻译的方式有 ...
- wordPress数据结构 数据库中的表、字段、类型及说明
wordPress数据结构 数据库中的表.字段.类型及说明 WordPress数据库中的表.字段.类型及说明 wp_categories: 用于保存分类相关信息的表.包括了5个字段,分别是: wp_c ...
- 运维企业实战Shell脚本合集+万能工具箱
文章目录 系统维护篇 服务器日常巡检脚本 下线登录用户 企业级Linux日常自动抓取服务器巡检.登录.执行命令记录+备份脚本 终端对话&广播消息 批量查询IP归属地+手机号归属地信息 Linu ...
- mysql数据库 布尔类型_MySql数据库类型bit等与JAVA中的对应类型【布尔类型怎么存】...
用char(1):可以表示字符或者数字,但是不能直接计算同列的值.存储消耗1个字节 用tinyint:只能表示数字,可以直接计算,存储消耗2个字节 用bit: 只能表示0或1,不能计算,存储消耗小于等 ...
- java 继承示例_Java中的继承类型以及示例
java 继承示例 Prerequisite: Inheritance and its implementation in Java 先决条件: 继承及其在Java中的实现 Java中的继承类型 (T ...
- 其他资源记录类型及应用示例
为了不使一些网友认为我给出的资源记录类型太不全面,所以在本篇文章中给出另一些资源记录类型.这些其实也非常常见.本篇以下内容摘自笔者编著的<网管员必读--网络组建>(第2版)一书. 7.6. ...
- 深入Atlas系列:Web Sevices Access in Atlas示例(6) - 在客户端隐藏服务器端类型信息...
如果要在客户端指定服务器端Web Service方法所接收的参数类型,就必须在客户端通过"__type"来指定,但是这就暴露了服务器端的具体类型了,这可不太好.现在我们就来看一下应 ...
最新文章
- 公积金贷款不受影响 组合贷款有特殊
- css实现图片虚化_CSS中实现图片自适应的方法
- C语言树形打印二叉树
- ALL in BERT:一套操作冲进排行榜首页
- Flink 1.12 资源管理新特性
- webService学习8:wsdl文档解释
- 中国地质大学计算机考研录取名单,中国地质大学考研拟录取名单2021公布在哪里?什么时候公布?...
- roc曲线怎么绘制_ROC曲线和PR曲线
- 【OCR技术系列之三】大批量生成文字训练集
- Linux随笔 - 修改主机名
- NetSarang旗下网络通讯系列产品v5版本更新合集丨附下载
- RDL 报表 - 制作双坐标轴图表
- Postgresql备份恢复用backup文件(pgadmin恢复功能不能点击)
- 基于SPSS的医疗医保费用数据分析预测(C#)
- android studio导入音乐文件,Android Studio 通过raw 文件夹播放音乐问题
- iOS 调用TouchID 身份验证
- 基于决策树的高层次语义图像检索
- vivos9保密柜从哪里进
- 初入Java,安装jdk,ij编译,运行
- 过程参数仪表与检测课后作业知识点总结
热门文章
- Python-数据结构(一)
- Django中pipeline操作Redis数据库
- 操作系统第二章作业(2020@usc)
- VTK:多块数据集用法实战
- VTK:检查VTK的版本用法实战
- wxWidgets:wxFileSystemWatcher 示例
- boost::range_mutable_iterator相关的测试程序
- boost::hana::is_an用法的测试程序
- boost::detail::lowest_bit的测试程序
- Boost:post process后期处理的测试程序