airflow连接mysql错误_airflow使用MySQL数据库（第三方数据库详解）

airflow 是一个python写的调度平台，大致的认识是：定义一些任务(脚本、命令、连接...)，airflow调度平台可以自动去运行，后面会给出运行日志(UI界面)等，这个UI界面(WEB端)有一些复杂的分析图谱，可以做的事情就很多了。

下面是介绍airflow使用非默认的数据库，默认是SQLite ，官方的介绍不够仔细，这篇是个人总结。

官方地址：http://airflow.apache.org/docs/stable/installation.html

一、登陆MySQL、创建数据库、创建用户密码、更新策略

mysql> create database airflow;

mysql> GRANT all privileges on airflow.* TO 'airflow'@'%' IDENTIFIED BY 'xE!D95Exxx';

mysql> FLUSH PRIVILEGES;

二、设置MySQL对null的处理，重启服务器(可有可无)

mysql> set explicit_defaults_for_timestamp = 1;

重启服务器(可有可无)

[root@VM_0_16_centos airflow]# systemctl restart mysqld

这个设置是官方文档提出的，下面是一篇文章关于此属性的介绍：https://www.jianshu.com/p/dfa0380eb6b9

三、对airflow配置文件(airflow.cfg)的设置

#打开你安装airflow的文件夹

[root@VM_0_16_centos airflow]# vim ~/airflow/airflow.cfg

#设置两个属性

The executor class that airflow should use. Choices include

# SequentialExecutor, LocalExecutor, CeleryExecutor, DaskExecutor, KubernetesExecutor

#executor = SequentialExecutor

executor = LocalExecutor

# The SqlAlchemy connection string to the metadata database.

# SqlAlchemy supports many different database engine, more information

# their website

sql_alchemy_conn = mysql+pymysql://airflow:xxxxxxx@127.0.0.1/airflow

#注意pymysql库是否安装

[root@VM_0_16_centos airflow]# pip3 install pymysql

一些小坑提示：数据库连接路径要注意是否还是使用mysql的驱动，现在已经使用pymysql，没有安装会报错，找不到驱动。

四、重置数据库、初始化数据库

[root@VM_0_16_centos airflow]# airflow resetdb

[root@VM_0_16_centos airflow]# airflow initdb

airflow连接mysql错误_airflow使用MySQL数据库（第三方数据库详解）相关推荐

[Python从零到壹] 八.数据库之MySQL和Sqlite基础知识及操作万字详解
欢迎大家来到"Python从零到壹",在这里我将分享约200篇Python系列文章,带大家一起去学习和玩耍,看看Python这个有趣的世界.所有文章都将结合案例.代码和作者的经验讲 ...
mysql 错误信息大全,MySQL错误信息记录
MySQL错误信息记录 MySQL错误信息记录考虑到MySQL是一门玄学,难免有些看不见的坑要踩,于是开这篇博文,以此来记录学习及以后使用过程中踩过的Error,如果你也想加入欢迎留言参加 ERRO ...
laravel 调试mysql_Laravel - MySQL数据库的使用详解3（Query Builder用法2：新增、修改、删除）...
五.新增.修改.删除操作在前文中我介绍了如何使用Query Builder(查询构造器)进行数据查询,下面接着介绍如何使用它进行数据的增.删.改操作.同样假设我们有如下用户表(user): 1,新增 ...
MySQL 数据库 source 命令详解及实例
MySQL 数据库 source 命令详解及实例 MySQL 数据库 source 命令,该命令是数据库导入命令.source 命令的用法非常简单,首先你需要进入 MySQL 数据库的命令行管理界面, ...
mysql中数据库字段类型详解
mysql中数据库字段类型详解 1,blob字段 mysql中blob是一个二进制大型对象,是一个可以储存大量数据的容器,它能容纳不同大小的数据. mysql中blob的四种类型除了存储数据的大小有区 ...
mysql数据库字段类型大全_mysql数据库字段类型详解
MySQL支持大量的列类型,它可以被分为3类:数字类型.日期和时间类型以及字符串(字符)类型.本节首先给出可用类型的一个概述,并且总结每个列类型的存储需求,然后提供每个类中的类型性质的更详细的描述. ...
mysql source 数据库_MySQL 数据库 source 命令详解及实例
MySQL 数据库 source 命令详解及实例 MySQL 数据库 source 命令,该命令是数据库导入命令.source 命令的用法非常简单,首先你需要进入 MySQL 数据库的命令行管理界面, ...
关于MySQL错误 2005 - Unknown MySQL server host ‘localhost‘ (0) 原因及解决方法
关于MySQL错误 2005 - Unknown MySQL server host 'localhost' (0) 原因及解决方法参考文章: (1)关于MySQL错误 2005 - Unknown ...
linux系统——mysql数据库默认字符集详解
linux系统--mysql数据库默认字符集详解 - mysql的字符集配置细化到四种对数据库server配置对库设置对表设置对列设置 - 对mysql-server设置对server设置是 ...

airflow连接mysql错误_airflow使用MySQL数据库（第三方数据库详解）

airflow连接mysql错误_airflow使用MySQL数据库（第三方数据库详解）相关推荐

最新文章

热门文章