大数据任务调度工具azkaban初步使用
1.azkaban是什么
是一个简单的任务调度器,批量工作流任务调取器,
java开发,
包含三个部分,webserver,dbserver,executorserver,linkin的开源项目
使用一种kv格式的文件来建立任务之间的相互关系,
提供了web界面用于跟踪和维护工作流
2.使用场景
多个任务存在相互依赖的关系,比如ABCD四个任务,AB任务没有任何关系,C任务需要使用AB任务的数据,D任务需要使用C任务的数据,这样的话使用shell脚本加crontab就不太容易实现,这个时候就可以使用azkaban来调度这种类型的任务(类似一个有向无环图)
3.有向无环图(DAG)
有向无环图指的是一个无回路的有向图
类似下图:
4.简单使用
步骤如下:
1.创建一个文件夹test(你的项目)
2.初始化项目(创建一个文件)
az.project
azkaban-flow-version: 2.0
3.创建任务流文件(主要是通过该文件进行任务调度)
test.flow
nodes:
- name: JobAtype: commandconfig:command: echo "hello"
4.在页面端创建一个空的项目
5.将test文件夹压缩成zip文件
6.上传任务
7.点击执行任务
大数据任务调度工具azkaban初步使用相关推荐
- 大数据任务调度工具azkaban深入使用
前言 我们使用的是最新版本的azkaban,所编写的调度文件是.flow文件,非常方便,之前使用的job文件一个文件只能写一个任务,但是有了flow文件后可以直接将所有的调度任务写在里面,对于工程级别 ...
- 大数据任务调度工具 Apache DolphinScheduler
文章目录 大数据任务调度工具 Apache DolphinScheduler 项目亮点 DolphinScheduler 简介 调度系统选型 为什么大数据要选择 DolphinScheduler Do ...
- Apache DolphinScheduler征稿 — 小Demo轻松入门DolphinSchedule大数据调度工具
文章目录 官方文档 | [GitHub源码](https://github.com/apache/dolphinscheduler) 一.从实际需求入手,我们为何要选择使用DolphinSchched ...
- 主流大数据调度工具对比(DolphinScheduler特点)
大数据环境下,调度工具比不可少,离线批任务和准实时任务都需要调度去驱动.下文介绍主流大数据调度工具对比DolphinScheduler .Azkaban.Airflow.Oozie.Xxl-job A ...
- 主流大数据调度工具对比
大数据环境下,调度工具比不可少,离线批任务和准实时任务都需要调度去驱动.下文介绍主流大数据调度工具对比DolphinScheduler .Azkaban.Airflow.Oozie.Xxl-job 非 ...
- 什么是Oozie——大数据任务调度框架
Oozie简介 Oozie是大数据四大协作框架之一--任务调度框架,另外三个分别为数据转换工具Sqoop,文件收集库框架Flume,大数据WEB工具Hue. 它能够提供对Hadoop MapReduc ...
- 大数据任务调度和数据同步组件初探
本文个人博客地址 本文公众号地址 背景 数据从最原始的状态,可能是一个 excel,一个文本,或者是来自业务数据库的数据,格式各种各样,落地到数据仓库.数据湖中,数据的同步过程 是必不可少的 图片来源 ...
- 大数据必须框架-Azkaban
大数据必须框架-Azkaban 一.Azkaban 概论 1.为什么需要工作流调度系统 1)一个完整的数据分析系统通常都是由大量任务单元组成: Shell 脚本程序,Java 程序,MapReduce ...
- bboss hadoop hdfs大数据抽取工具
bboss大数据抽取工具功能特点如下: 实现db到hadoop hdfs数据导入功能,提供高效的分布式并行处理能力,可以采用数据库分区.按字段分区.分页方式并行批处理抽取db数据到hdfs文件系统中: ...
最新文章
- javaweb 之Ajax
- rocketMq指定broker ip地址,适合解决云主机部署问题
- 反写规则-销售订单关闭后不允许出库 (销售订单-销售出库单)
- SQL2005删除用户的时候,产生“数据库主体在该数据库中拥有架构,无法删除”的解决办法...
- fpga数电基础之--------基本概念
- tsm linux文件备份命令,IBM TSM简单使用文档
- java拷贝字符文件
- 字符串中单词去多余空格
- vue项目,路由跳转页面后滚动条自动回到顶部
- 计算机程序无法定位,电脑显示无法定位程序输入点XXX于动态链接库怎么办
- 使用chrome console检查css selector/xpath的有效性|百度云盘如何获取文件库中的目录文字
- office2007加载缓慢_word2007打开特别慢怎么解决
- matlab计算aqi代码,AQI计算第一课,爬取全部城市AQI数据的代码一样但是只能爬出第一个城市的数据是怎么回事?...
- Cesium Primitives加载大量图标点
- kill命令详解kill -9、kill -15区别
- Node-RED中通过node-red-ui-webcam节点实现访问摄像头并截取照片预览
- java 重写函数_JAVA函数的重载和重写
- 通过宝塔面板,定时清除Docker日志空间
- 【读官方文档,学原味技术】SpringBoot-Staters和自定义Starter
- 获取富文本编辑器的纯文本内容
热门文章
- 世界十大高端接链环品牌排名,第一名你绝对想不到!
- LeetCode-133
- samtools sort -@ 4 -t CB -O BAM -o $new $idsamtools排序原理过程
- ajax 提交 form表单 ,后台执行两次的问题
- Redis远程连接和Redis配置
- BIOS设置选项(中英文对照选项)
- modelsim的详细使用方法和容易出现的问题!(适用初学者)
- ViewPager+下拉刷新ListView超强组合(实现360手机助手首页的效果)
- linux 网卡加网桥,CentOS 7网卡网桥设置
- Arduino使用ESP8266+点灯科技+小爱音响实现语音控制开关