前言

本文隶属于专栏《1000个问题搞定大数据技术体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！

本专栏目录结构和参考文献请见1000个问题搞定大数据技术体系

正文

Azkaban 工作流管理器由 3 个核心部分组成，具体如下

( 1 ) Relational Database (关系数据库 MySQL );

( 2 ) Azkaban Web Server ( Web 服务器);

( 3 ) Azkaban Executor Server (执行服务器)。

这 3 个核心部分的关联关系如图所示。

接下来，就分别对 Azkaban 工作流管理器中的 3 个核心部分进行说明。

1 . Relational Database ( MySQL )

Azkaban 通常使用 MySQL 关系数据库进行数据存储， Azkaban Web Server 和 Azkaban Executor Server 都会访问该关系数据库。

2 . Azkaban Web Server

Azkaban Web Server 是所有 Azkaban 的主要管理者，它用于处理项目管理、身份验证、调度程序和执行监视，同时还可以用作 UI 。

3 . Azkaban Executor Server

Azkaban Executor Server 主要用于处理工作流和 jobs 作业任务的实际执行。

在最初的 Azkaban 版本中， Azkaban Web Server 和 Azkaban Executor Server 是自动部署在同一服务器中的，后来由于功能需求和扩展，将 Executor 分成了自己独立的服务器。

Azkaban 基本架构是什么？相关推荐

系统讲解Azkaban安装及基本操作实用篇
一,概述 1.1什么是 Azkaban Azkaban是由Linkedin公司推出的一个批量工作流任务调度器,主要用于在一个工作流内以一个特定的顺序运行一组工作和流程,它的配置是通过简单的key:va ...
Cris 玩转大数据系列之任务流神器 Azkaban
Cris 玩转大数据系列之任务流神器 Azkaban Author:Cris 文章目录 Cris 玩转大数据系列之任务流神器 Azkaban Author:Cris 1. 概述 1.1 为什么需要工作 ...
AZKABAN使用全方位总结
目录 1 概述 1.1 什么是Azkaban 1.2 Azkaban特点 1.3 常见工作流调度系统 1.4 Azkaban的架构 1.5 Azkaban下载地址 2 Azkaban的操作使用 2.1 ...
Azkaban（一）—— Azkaban介绍
文章目录 1.1 为什么需要工作流调度系统 1.2 什么是Azkaban 1.3 Azkaban适用场景 1.4 Azkaban特点 1.5 常见的工作流调度系统 1.6 Azkaban和Ooize特 ...
7 Azkaban开荒
目录 1 背景 1.1 Azkaban的特点 1.2 Azkaban的架构 2 Azkaban安装准备 2.1 编译 2.2 安装包分析 2.3 安装启动 3 创建Flow 3.2 多个job依赖 3 ...
常用调度工具Oozie、Azkaban、Airflow总结
调度的意义: 调度时一个项目中必不可少的,项目中一般都会包括程序.hive脚本等多任务,我们一般把任务写到shell脚本中,最后通过调度工具把所有的任务串起来. airflow是一个可编程的工作流调度 ...
Azkaban:工作流调度
Azkaban 工作流工作流产生背景工作流调度实现方式工作流调度工具之间对比 Azkaban调度器 Azkaban介绍 Azkaban功能特点 Azkaban原理架构 Azkaban三种部署模式 ...
Azkaban概述详解
Azkaban概述详解本文简单介绍一下Azkaban及其特点.azkaban是一个开源的任务调度系统,用于负责任务的调度运行(如数据仓库调度),用以替代linux中的crontab. 一.Azkab ...
大数据--数据仓库1--电商数据仓库项目最全总结1
目录一:项目来源: 二:数据仓库概念 2.1 业务数据 2.2用户行为数据 2.3数据仓库结构图三:项目需求及架构设计 3.1项目需求分析 3.2.1 技术选型 3.2.2 系统数据流程设计 3. ...

Azkaban 基本架构是什么？

前言

正文

1 . Relational Database ( MySQL )

2 . Azkaban Web Server

3 . Azkaban Executor Server

Azkaban 基本架构是什么？相关推荐

最新文章

热门文章