azkaban 安装

准备工作

1）创建相应的文件夹

mkdir /opt/azkaban-3.34

2）编译环境
yum -y install make gcc-c++ cmake bison-devel ncurses-devel

构建azkaban

获取源代码

git clone https://github.com/azkaban/azkaban.git
2.进入目录执行项目构建
cd /opt/azkaban-3.34.x;
./gradlew build installDist
执行完构建之后源代码构建完成形成完成的项目结构此时
maven下载太慢的话可以修改gradle仓库库的地址，修改文件build.gradle
替换gradle maven仓库地址

allprojects {repositories {maven{ url 'http://maven.aliyun.com/nexus/content/groups/public'}mavenLocal()}
}

我们就可以进行下面的部署工作了

部署 Azkaban

部署mysql ，这里就不解释如何部署mysql了

直接使用之前安装的db进行安装
2. 在mysql 服务器创建 Azkaban 数据库
MYSQL> CREATE DATABASE azkaban;
3. 授权用户访问
MYSQL> CREATE USER ‘root’@’%’ IDENTIFIED BY ‘123456’;
MYSQL> GRANT ALL ON azkaban.* to ‘root’@’%’ WITH GRANT OPTION;
4. 设置mysql 包大小，并重启mysql
Vi /etc/my.cnf
max_allowed_packet=1024M
5. 执行sql 文件创建表结构
sql路径：/opt/azkaban-3.34.x.src/azkaban-db/build/sql/create-all-sql-0.1.0-SNAPSHOT.sql

安装azkaban-web-server

```
      将/opt/azkaban-3.34.x/azkaban-web-server/build/distributions/azkaban-web-server-0.1.0-SNAPSHOT.tar.gz解压缩，并拷贝到安装服务器
```
cp /opt/azkaban-3.34.x/azkaban-web-server/build/distributions/azkaban-web-server-0.1.0-SNAPSHOT.tar.gz /opt/azkaban-3.34
cd /opt/azkaban-3.34
tar zxvf azkaban-web-server-0.1.0-SNAPSHOT.tar.gz
mv azkaban-web-server-0.1.0-SNAPSHOT web-server
cd web-server
mkdir conf extlib plugins azkaban logs
cp /opt/hadoop-2.8.2/share/hadoop/common/hadoop-common-2.8.2.jar /opt/azkaban-3.34/web-server/extlib/
cp /opt/azkaban-3.34.x/azkaban-solo-server/build/resources/main/conf/* /opt/azkaban-3.34/web-server/conf
cp /opt/azkaban-3.34.x/azkaban-solo-server/build/resources/main/log4j.properties /opt/azkaban-3.34/web-server/conf/
cp /opt/azkaban-3.34.x/azkaban-web-server/src/main/resources/azkaban/* /opt/azkaban-3.34/web-server/azkaban -r
cp /opt/mysql-connector-java-5.1.44-bin.jar /opt/azkaban-3.34/web-server/extlib/
cd /opt/azkaban-3.34/web-server
keytool -keystore keystore -alias jetty -genkey -keyalg RSA #密码 123456

azkaban.properties

 echo '' > /opt/azkaban-3.34/web-server/conf/azkaban.propertiesvi /opt/azkaban-3.34/web-server/conf/azkaban.properties

# Azkaban Personalization Settings
azkaban.name=Test
azkaban.label=My Local Azkaban
azkaban.color=#FF3601
azkaban.default.servlet.path=/index
web.resource.dir=web/
default.timezone.id=Asia/Shanghai# Azkaban UserManager class
user.manager.class=azkaban.user.XmlUserManager
user.manager.xml.file=conf/azkaban-users.xml# Loader for projects
executor.global.properties=conf/global.properties
azkaban.project.dir=projectsdatabase.type=mysql
mysql.port=3306
mysql.host=host1
mysql.database=azkaban
mysql.user=root
mysql.password=123456
mysql.numconnections=100# Velocity dev mode
velocity.dev.mode=false# Azkaban Jetty server properties.
jetty.maxThreads=25
jetty.ssl.port=8443
# jetty.use.ssl=false
jetty.port=8081
jetty.keystore=keystore
jetty.password=123456
jetty.keypassword=123456
jetty.truststore=keystore
jetty.trustpassword=123456
# Azkaban Executor settings
executor.port=12321# mail settings
mail.sender=
mail.host=
job.failure.email=
job.success.email=lockdown.create.projects=falsecache.directory=cache# JMX stats
jetty.connector.stats=true
executor.connector.stats=true

用户设置

安装 executor

cp /opt/azkaban-3.34.x/azkaban-exec-server/build/distributions/azkaban-exec-server-0.1.0-SNAPSHOT.tar.gz /opt/azkaban-3.34cd /opt/azkaban-3.34
tar zxvf azkaban-exec-server-0.1.0-SNAPSHOT.tar.gz
mv azkaban-exec-server-0.1.0-SNAPSHOT executor
cd executor
mkdir -p extlib plugins/jobtypes conf
cp /opt/hadoop-2.8.2/share/hadoop/common/hadoop-common-2.8.2.jar /opt/azkaban-3.34/executor/extlib/
cp /opt/azkaban-3.34.x/azkaban-solo-server/build/resources/main/conf/* /opt/azkaban-3.34/executor/conf
cp /opt/azkaban-3.34.x/azkaban-solo-server/build/resources/main/log4j.properties /opt/azkaban-3.34/executor/conf/
cp /opt/azkaban-3.34.x/azkaban-solo-server/src/main/resources/commonprivate.properties /opt/azkaban-3.34/executor/plugins/jobtypes
cp /opt/mysql-connector-java-5.1.44-bin.jar /opt/azkaban-3.34/executor/extlib/

azkaban.properties

 echo '' >/opt/azkaban-3.34/executor/conf/azkaban.propertiesvi /opt/azkaban-3.34/executor/conf/azkaban.properties

# Azkabandefault.timezone.id=Asia/Shanghai# Azkaban JobTypes Pluginsazkaban.jobtype.plugin.dir=plugins/jobtypes# Loader for projectsexecutor.global.properties=conf/global.propertiesazkaban.project.dir=projectsdatabase.type=mysql
mysql.port=3306
mysql.host=host1
mysql.database=azkaban
mysql.user=root
mysql.password=123456
mysql.numconnections=100# Azkaban Executor settings
executor.maxThreads=50
executor.port=12321
executor.flow.threads=30# JMX stats
jetty.connector.stats=true
executor.connector.stats=true# uncomment to enable inmemory stats for azkaban
#executor.metric.reports=true
#executor.metric.milisecinterval.default=60000

数据库中插入executor节点

azkaban数据库
insert into executors(host,port,active) values(“host1”,12321,1);

启动azkaban（阿兹卡班）服务

1）先启动执行者服务，然后在启动web服务
cd /opt/azkaban-3.34/executor
bin/start-exec.sh
cd /opt/azkaban-3.34/web-server
bin/start-web.sh
9. 通过:https://ipxxxx:8443访问azkaban

错误解决

java.lang.NoClassDefFoundError: org/apache/hadoop/conf/Configuration

hadoop-common-x.jar引入

azkaban 安装相关推荐

Azkaban安装部署，配置文件配置，启动等
1 Azkaban安装部署准备工作 Azkaban Web服务器 azkaban-web-server-2.5.0.tar.gz Azkaban执行服务器 azkaban-executor-serv ...
系统讲解Azkaban安装及基本操作实用篇
一,概述 1.1什么是 Azkaban Azkaban是由Linkedin公司推出的一个批量工作流任务调度器,主要用于在一个工作流内以一个特定的顺序运行一组工作和流程,它的配置是通过简单的key:va ...
azkaban安装Solo Server
azkaban安装 Solo Server azkaban 3.57.0 编译 1.下载源码包官网地址为:https://github.com/azkaban/azkaban/archive/3.5 ...
azkaban安装使用
azkaban安装使用一.安装 1. 准备工作 1.1 下载 1.2 环境要求 2. 配置 2.1 软件配置 2.1.1 数据库准备 2.1.2 exec-server配置 2.1.2.1 exec ...
Azkaban的囚徒——Azkaban安装和介绍
文章目录 Azkaban简介 Azkaban安装 Azkaban配置 azkaban.properties azkaban-users.xml Azkaban简介为什么需要工作流调度器? 1.一个完 ...
azkaban安装编译3.86 教程
Azkaban is a batch workflow job scheduler created at LinkedIn to run Hadoop jobs. Azkaban resolves t ...
【错误处理】Azkaban安装失败 installation Failed.Error chunking
上篇文章我们讲到Azkaban的安装,很多时候我们安装并不是一帆风顺的,需要不断的修正,修改:那么废话不多说,我们来看看一些常规的Azkaban的错误处理: 1.installation Failed ...
azkaban 安装使用
目录拷贝安装包解压改名修改MySQL配置文件创建数据库导入数据表修改配置文件修改azkaban-exec下面文件修改azkaban.properties文件修改 commonpri ...
Azkaban 安装部署
1.安装前准备链接:https://pan.baidu.com/s/1TRiZjxCbn_ilG4q7Oo7wBQ?pwd=38s5 提取码:38s5 1) 将 Azkaban Web 服务器.A ...