声明:本人借鉴了众多同行的博客,所以总结了这篇博客,用来致敬他们,非常感谢他们,转载请注明出处。

基础环境:【CentOS 6.9】(cat /etc/redhat-release)

python2.7、pip、gcc、gcc-c++、Fernet、pandas(下载安装包,手动编译安装)、numpy、MySQL-python、sqlite-devel、lxml、openssl、openssl-devel、mysql-devel

注:

1、缺少mysql_config

执行命令:ln -s /usr/local/mysql/bin/mysql_config /usr/local/bin/mysql_config

2、无法使用sqlite

find / -name _sqlite*.so

cp /usr/lib64/python2.6/lib-dynload/_sqlite3.so   /usr/local/lib/python2.7/lib-dynload/_sqlite3.so

3、pip install 软件==指定版本

4、Installing build dependencies ... error...Double requirement given: numpy==1.12.1...

手动安装pandas

# 环境准备好,开始

# airflow needs a home, ~/airflow is the default,

# but you can lay foundation somewhere else if you prefer

# (optional)

export AIRFLOW_HOME=~/airflow

# install from pypi using pip

pip install apache-airflow

# initialize the database 执行一遍,修改配置,再次执行

airflow initdb# start the web server, default port is 8080

airflow webserver -p 8080

--------------------------------------------------------------------------

cd ~/airflow

vim airflow.cfg

#修改airflow.cfg

[core]

# The home folder for airflow, default is ~/airflow

airflow_home = /root/airflow

dags_folder = /data/airflow/dags

base_log_folder = /root/airflow/logs

# The executor class that airflow should use. Choices include

# SequentialExecutor, LocalExecutor, CeleryExecutor, DaskExecutor

executor = LocalExecutor

# mysqldb

sql_alchemy_conn = mysql://airflow:airflow@172.16.2.222:3306/airflow

sql_alchemy_pool_size = 10

# Secret key to save connection passwords in the db 手动生成

fernet_key = l5k-1nUD50nWXzTL9imndy6cQIVvIm_3efYIV4B1RiI=

[operators]

# The default owner assigned to each new operator, unless

# provided explicitly or passed via `default_args`

default_owner = Airflow

default_cpus = 5

default_ram = 8192

default_disk = 8192

default_gpus = 0

[webserver]

base_url = http://localhost:8080

# The ip specified when starting the web server

web_server_host = 0.0.0.0

web_server_port = 8080

# Expose the configuration file in the web server

expose_config = True

# Set to true to turn on authentication:

# http://pythonhosted.org/airflow/security.html#web-authentication

# pip install apache-airflow[password]

authenticate = True

auth_backend = airflow.contrib.auth.backends.password_auth

# Filter the list of dags by owner name (requires authentication to be enabled)

filter_by_owner = True

# Consistent page size across all listing views in the UI 优化性能

page_size = 15

#获取FK

from cryptography.fernet import Fernet

fernet_key= Fernet.generate_key()

print(fernet_key)

#创建用户

#!/usr/bin/env python

# -*- encoding: utf-8 -*-

import airflow

from airflow import models, settings

from airflow.contrib.auth.backends.password_auth import PasswordUser

from flask_bcrypt import generate_password_hash

user = PasswordUser(models.User())

user.username = '账号'

user.email = '邮箱'

user._password = generate_password_hash('密码', 12)

session = settings.Session()

session.add(user)

session.commit()

session.close()

#启动Web服务

nohup airflow webserver -p 8080 &

#启动调度

airflow scheduler

#修改时区

vim /usr/local/lib/python2.7/site-packages/airflow/www/templates/admin/master.html

//var UTCseconds = (x.getTime() + x.getTimezoneOffset()*60*1000);

var UTCseconds = x.getTime();

airflow sql_alchemy_conn mysql_搭建AirFlow—— 一段波折后的总结相关推荐

  1. airflow sql_alchemy_conn mysql_airflow的安装和使用 - 完全版

    之前试用了azkaban一小段时间,虽然上手快速方便,但是功能还是太简单,不够灵活. Airflow使用代码来管理任务,这样应该是最灵活的,决定试一下. 我是python零基础,在使用airflow的 ...

  2. airflow sql_alchemy_conn mysql_airflow使用mysql数据库,LocalExecutor并发调度

    mysql-airflow 在mysql上执行 create database airflow; -- 创建数据库 GRANT all privileges on airflow.* TO 'airf ...

  3. tigase mysql_搭建Tigase进行二次开发

    1.通过git克隆项目到本地. git地址 https://repository.tigase.org/git/tigase-server.git.打开 window->show View-&g ...

  4. ssh登录一段时间后断开的解决方案

    ssh登录一段时间后断开的解决方案 参考文章: (1)ssh登录一段时间后断开的解决方案 (2)https://www.cnblogs.com/zhanzq/p/11102869.html 备忘一下.

  5. ili9341屏幕在断电一段时间后首次上电白屏问题

    现象:断开电源一段时间后,首次上电会白屏,然后反复断电上电都能正常显示. 原因:背光灯的打开对lcd的干扰引起的. 解决办法:在背光的开关驱动电路中加入一个小电容,控制mos管的导通摆率控制,故障排除 ...

  6. 加载MNIST报错:[WinError 10060] 由于连接方在一段时间后没有正确答复解决办法(亲测)

    转载:https://blog.csdn.net/landcruiser007/article/details/79346982 tensorflow加载mnist数据集,一些书上和博客中的代码如下: ...

  7. Centos7.0上搭建LAMP平台安装discuz后无法访问

    Centos7.0上搭建LAMP平台安装discuz后无法访问,出现500错误.解决方式:centos7.0上的php程序是5.4的,编译安装一个5.3版本的就可以访问了. 转载于:https://b ...

  8. java内存溢出让tomcat停止_java - 使用JVM Open J9一段时间后,应用程序(tomcat)停止响应 - 堆栈内存溢出...

    我正在使用Open J9,一段时间后我的应用程序停止响应..在生产中发生了2个小时后,在本地设法使用JMeter进行模拟. 应用程序(tomcat)只是停止响应,我需要重新启动才能将其取回. 问题是日 ...

  9. mysql 空闲几分钟速度变慢,MYSQL 运作一小段时间后,速度变得奇慢。而CPU基本空闲状态...

    当前位置:我的异常网» MySQL » MYSQL 运作一小段时间后,速度变得奇慢.而CPU基本 MYSQL 运作一小段时间后,速度变得奇慢.而CPU基本空闲状态 www.myexceptions.n ...

最新文章

  1. input[type=file]属性
  2. vc采集网页内frame框架下所有元素(不指定具体table/form)-升级版
  3. 内存管理1retain和release
  4. Visio风格源代码组件库,流程图,矢量图,图形编辑,打印,导入,导出,VC++源代码...
  5. C# datagridview绑定Liststring显示的是数据长度
  6. Windows10最常用的软件推荐V1.7
  7. 安信可BT-02 Mesh组网的AT指令集
  8. onvif 添加H265开发流程
  9. android开发沉浸式标题栏_android实现沉浸式状态栏
  10. 1034. 边框着色
  11. 一篇评价牛顿的搞笑文章,作者老罗,但很有才
  12. 谷歌广告联盟电汇收款指南
  13. 【OpenCV-Python】教程:6-1 相机标定
  14. 【自动控制原理】控制系统数学模型
  15. recaptcha java_reCAPTCHA打不开的解决方法
  16. 轮廓中对踵点/旋转卡壳
  17. 对于人工智能,你有怎样的认识和理解?
  18. Matlab 如何输入矩阵
  19. 项目文档word格式规范
  20. opencv双目视觉标定,激光结构光提取,指定特征点获取世界坐标

热门文章

  1. mysql selectprovider_SpringBoot+Mybatis 框架之 @SelectProvider注解方式搭建
  2. usockets / 编译 usockets 过程说明
  3. 小明分享| SigmastarSSD201环境搭建及源码编译
  4. HDR-100-24N LRS-100-24 漏电测量
  5. r语言数据变量分段_R数据分析:用R语言做meta分析
  6. android中注册的账号密码储存在,Android中使用SharedPreferences完成记住账号密码的功能...
  7. Javascript 程序放在哪
  8. php 生成小程序二维码
  9. 用MediaInfo获取音视频信息
  10. PLSQL乱码TNS-12557: protocol adapter not loadable解决