windows系统安装airflow模块(一)

airflow 是啥？

官方网站： https://airflow.apache.org/_api/index.html

Airflow 是一个使用 python 语言编写的 data pipeline 调度和监控工作流的平台。Airflow 被 Airbnb 内部用来创建、监控和调整数据管道。任何工作流都可以在这个使用 Python 来编写的平台上运行。Airflow是通过DAG（Directed acyclic graph）来管理任务流程的任务调度工具，她不需要知道业务数据的具体内容，设置任务的依赖关系实现任务调度。

这个平台拥有和 Hive、Presto、MySQL、HDFS、Postgres 和 S3 交互的能力，并且提供了钩子（hook）使得系统拥有很好地扩展性。除了一个命令行界面，该工具还提供了一个基于 Web 的用户界面让您可以可视化管道的依赖关系、监控进度、触发任务等。
链接：https://www.jianshu.com/p/cd12b4864471

通常的安装都在除Win系统上安装：

安装：

(1) cmd

(2) pip install apache-airflow

问题：

(1) C++ 14.0 is required

处理方法：下载Visual Studio C++14.0 并安装：具体的连接： https://download.csdn.net/download/paul19901215/10557660

(2) Faied to build dumb-init

下载官网模块连接： https://pypi.org/project/dumb-init/#files

或者是本人上传的资源： https://download.csdn.net/download/luolang_103/11569400 下载解压并放入\Lib\site-packages中即可

再次运行 pip install apache-airflow

个人建议：安装前先更新下 pip

windows系统安装airflow模块(一)相关推荐

windows系统安装python模块
刚开始学习python,师兄建议把装过的python卸载掉,直接下载anaconda,至于为啥用anaconda,自行百度吧...然后今天看书上的例程,需要用prettytable模块,百度了一下,给 ...
TensorFlow学习笔记（一）--windows系统安装配置
1.关于Tensorflow 国际惯例,先来个总体的简要介绍,摘自一个很强大的TensorFlow中文学习网站(http://www.tensorfly.cn/)的简介 TensorFlow™ 是一个 ...
.NET Core SDK在Windows系统安装后出现Failed to load the hostfxr.dll等问题的解决方法
.NET Core SDK在Windows系统安装后出现Failed to load the hostfxr.dll等问题的解决方法参考文章: (1).NET Core SDK在Windows系统安 ...
[Windows] 系统安装利器WinNTSetup4.2 x86/x64 Final单文件版
码上生花,ECharts 作品展示赛正式启动!>>> WinNTSetup,系统安装利器,目前最常用的系统安装器,Windows系统安装部署工具. 支持所有Windows平台,支持多 ...
最完整的Windows系统安装教程（Win7、Win10、Win11）
安装步骤准备iso纯净系统 [无U盘PE系统安装][U盘PE系统安装] [无U盘PE系统启动][U盘PE系统启动] Windows系统安装 [Windows7系统配置][Windows10系统配置] ...
Windows 系统安装
Windows 系统安装在windows上下载微软官网的安装媒介创建助手创建系统安装U盘.[使用U盘会将U盘格式化内容清空,注意备份文件] 一.软件下载软件下载选择自己的需要的系统,下面以Win ...
可靠Windows系统安装程序的获取
这期的内容比较简单,但对很多喜欢自己重装系统的小伙伴来说是相当重要的.如果说硬件是计算机的骨架.程序(除操作系统外的)是计算机的血肉,那操作系统就是计算机的灵魂.所有操作系统外的程序都依赖于操作系 ...
windows系统安装Racket后使用raco指令
windows系统安装Racket后使用raco指令环境配置 windows 下,要将racket.exe所在路径添加在系统环境变量path中(没有path变量可以自己新建一个); 然后Win+r ...
Windows系统安装jdk17
Windows系统安装jdk17 0.码仙励志 1.下载jdk 2.安装 3.配置环境变量 0.码仙励志能打败不安的,只有安定,能给予救赎的,只有自己. 1.下载jdk 我这里的jdk是jdk-17 ...

windows系统安装airflow模块(一)

windows系统安装airflow模块(一)相关推荐

最新文章

热门文章