airflow sql_alchemy_conn mysql_搭建AirFlow—— 一段波折后的总结
声明:本人借鉴了众多同行的博客,所以总结了这篇博客,用来致敬他们,非常感谢他们,转载请注明出处。
基础环境:【CentOS 6.9】(cat /etc/redhat-release)
python2.7、pip、gcc、gcc-c++、Fernet、pandas(下载安装包,手动编译安装)、numpy、MySQL-python、sqlite-devel、lxml、openssl、openssl-devel、mysql-devel
注:
1、缺少mysql_config
执行命令:ln -s /usr/local/mysql/bin/mysql_config /usr/local/bin/mysql_config
2、无法使用sqlite
find / -name _sqlite*.so
cp /usr/lib64/python2.6/lib-dynload/_sqlite3.so /usr/local/lib/python2.7/lib-dynload/_sqlite3.so
3、pip install 软件==指定版本
4、Installing build dependencies ... error...Double requirement given: numpy==1.12.1...
手动安装pandas
# 环境准备好,开始
# airflow needs a home, ~/airflow is the default,
# but you can lay foundation somewhere else if you prefer
# (optional)
export AIRFLOW_HOME=~/airflow
# install from pypi using pip
pip install apache-airflow
# initialize the database 执行一遍,修改配置,再次执行
airflow initdb# start the web server, default port is 8080
airflow webserver -p 8080
--------------------------------------------------------------------------
cd ~/airflow
vim airflow.cfg
#修改airflow.cfg
[core]
# The home folder for airflow, default is ~/airflow
airflow_home = /root/airflow
dags_folder = /data/airflow/dags
base_log_folder = /root/airflow/logs
# The executor class that airflow should use. Choices include
# SequentialExecutor, LocalExecutor, CeleryExecutor, DaskExecutor
executor = LocalExecutor
# mysqldb
sql_alchemy_conn = mysql://airflow:airflow@172.16.2.222:3306/airflow
sql_alchemy_pool_size = 10
# Secret key to save connection passwords in the db 手动生成
fernet_key = l5k-1nUD50nWXzTL9imndy6cQIVvIm_3efYIV4B1RiI=
[operators]
# The default owner assigned to each new operator, unless
# provided explicitly or passed via `default_args`
default_owner = Airflow
default_cpus = 5
default_ram = 8192
default_disk = 8192
default_gpus = 0
[webserver]
base_url = http://localhost:8080
# The ip specified when starting the web server
web_server_host = 0.0.0.0
web_server_port = 8080
# Expose the configuration file in the web server
expose_config = True
# Set to true to turn on authentication:
# http://pythonhosted.org/airflow/security.html#web-authentication
# pip install apache-airflow[password]
authenticate = True
auth_backend = airflow.contrib.auth.backends.password_auth
# Filter the list of dags by owner name (requires authentication to be enabled)
filter_by_owner = True
# Consistent page size across all listing views in the UI 优化性能
page_size = 15
#获取FK
from cryptography.fernet import Fernet
fernet_key= Fernet.generate_key()
print(fernet_key)
#创建用户
#!/usr/bin/env python
# -*- encoding: utf-8 -*-
import airflow
from airflow import models, settings
from airflow.contrib.auth.backends.password_auth import PasswordUser
from flask_bcrypt import generate_password_hash
user = PasswordUser(models.User())
user.username = '账号'
user.email = '邮箱'
user._password = generate_password_hash('密码', 12)
session = settings.Session()
session.add(user)
session.commit()
session.close()
#启动Web服务
nohup airflow webserver -p 8080 &
#启动调度
airflow scheduler
#修改时区
vim /usr/local/lib/python2.7/site-packages/airflow/www/templates/admin/master.html
//var UTCseconds = (x.getTime() + x.getTimezoneOffset()*60*1000);
var UTCseconds = x.getTime();
airflow sql_alchemy_conn mysql_搭建AirFlow—— 一段波折后的总结相关推荐
- airflow sql_alchemy_conn mysql_airflow的安装和使用 - 完全版
之前试用了azkaban一小段时间,虽然上手快速方便,但是功能还是太简单,不够灵活. Airflow使用代码来管理任务,这样应该是最灵活的,决定试一下. 我是python零基础,在使用airflow的 ...
- airflow sql_alchemy_conn mysql_airflow使用mysql数据库,LocalExecutor并发调度
mysql-airflow 在mysql上执行 create database airflow; -- 创建数据库 GRANT all privileges on airflow.* TO 'airf ...
- tigase mysql_搭建Tigase进行二次开发
1.通过git克隆项目到本地. git地址 https://repository.tigase.org/git/tigase-server.git.打开 window->show View-&g ...
- ssh登录一段时间后断开的解决方案
ssh登录一段时间后断开的解决方案 参考文章: (1)ssh登录一段时间后断开的解决方案 (2)https://www.cnblogs.com/zhanzq/p/11102869.html 备忘一下.
- ili9341屏幕在断电一段时间后首次上电白屏问题
现象:断开电源一段时间后,首次上电会白屏,然后反复断电上电都能正常显示. 原因:背光灯的打开对lcd的干扰引起的. 解决办法:在背光的开关驱动电路中加入一个小电容,控制mos管的导通摆率控制,故障排除 ...
- 加载MNIST报错:[WinError 10060] 由于连接方在一段时间后没有正确答复解决办法(亲测)
转载:https://blog.csdn.net/landcruiser007/article/details/79346982 tensorflow加载mnist数据集,一些书上和博客中的代码如下: ...
- Centos7.0上搭建LAMP平台安装discuz后无法访问
Centos7.0上搭建LAMP平台安装discuz后无法访问,出现500错误.解决方式:centos7.0上的php程序是5.4的,编译安装一个5.3版本的就可以访问了. 转载于:https://b ...
- java内存溢出让tomcat停止_java - 使用JVM Open J9一段时间后,应用程序(tomcat)停止响应 - 堆栈内存溢出...
我正在使用Open J9,一段时间后我的应用程序停止响应..在生产中发生了2个小时后,在本地设法使用JMeter进行模拟. 应用程序(tomcat)只是停止响应,我需要重新启动才能将其取回. 问题是日 ...
- mysql 空闲几分钟速度变慢,MYSQL 运作一小段时间后,速度变得奇慢。而CPU基本空闲状态...
当前位置:我的异常网» MySQL » MYSQL 运作一小段时间后,速度变得奇慢.而CPU基本 MYSQL 运作一小段时间后,速度变得奇慢.而CPU基本空闲状态 www.myexceptions.n ...
最新文章
- input[type=file]属性
- vc采集网页内frame框架下所有元素(不指定具体table/form)-升级版
- 内存管理1retain和release
- Visio风格源代码组件库,流程图,矢量图,图形编辑,打印,导入,导出,VC++源代码...
- C# datagridview绑定Liststring显示的是数据长度
- Windows10最常用的软件推荐V1.7
- 安信可BT-02 Mesh组网的AT指令集
- onvif 添加H265开发流程
- android开发沉浸式标题栏_android实现沉浸式状态栏
- 1034. 边框着色
- 一篇评价牛顿的搞笑文章,作者老罗,但很有才
- 谷歌广告联盟电汇收款指南
- 【OpenCV-Python】教程:6-1 相机标定
- 【自动控制原理】控制系统数学模型
- recaptcha java_reCAPTCHA打不开的解决方法
- 轮廓中对踵点/旋转卡壳
- 对于人工智能,你有怎样的认识和理解?
- Matlab 如何输入矩阵
- 项目文档word格式规范
- opencv双目视觉标定,激光结构光提取,指定特征点获取世界坐标
热门文章
- mysql selectprovider_SpringBoot+Mybatis 框架之 @SelectProvider注解方式搭建
- usockets / 编译 usockets 过程说明
- 小明分享| SigmastarSSD201环境搭建及源码编译
- HDR-100-24N LRS-100-24 漏电测量
- r语言数据变量分段_R数据分析:用R语言做meta分析
- android中注册的账号密码储存在,Android中使用SharedPreferences完成记住账号密码的功能...
- Javascript 程序放在哪
- php 生成小程序二维码
- 用MediaInfo获取音视频信息
- PLSQL乱码TNS-12557: protocol adapter not loadable解决