大数据分布式工作流任务调度系统DolphinScheduler v1.3.4
简介：
Apache DolphinScheduler(incubator,原EasyScheduler）是一个大数据分布式工作流任务调度系统，主要解决大数据研发过程中ETL处理错综复杂的依赖关系，而不能直观监控任务健康状态等问题。DolphinScheduler以DAG流式的方式将Task组装起来，可实时监控任务的运行状态，同时支持重试、从指定节点恢复失败、暂停及Kill任务等操作。
特点：
一个分布式易扩展的可视化DAG工作流任务调度系统。致力于解决数据处理流程中错综复杂的依赖关系，使调度系统在数据处理流程中开箱即用。
特色：
1、以DAG图的方式将Task按照任务的依赖关系关联起来，可实时可视化监控任务的运行状态
2、支持丰富的任务类型：Shell、MR、Spark、SQL(mysql、postgresql、hive、sparksql),Python,Sub_Process、Procedure等
3、支持工作流定时调度、依赖调度、手动调度、手动暂停/停止/恢复，同时支持失败重试/告警、从指定节点恢复失败、Kill任务等操作
4、支持工作流优先级、任务优先级及任务的故障转移及任务超时告警/失败
5、支持工作流全局参数及节点自定义参数设置
6、支持资源文件的在线上传/下载，管理等，支持在线文件创建、编辑
7、支持任务日志在线查看及滚动、在线下载日志等
8、实现集群HA，通过Zookeeper实现Master集群和Worker集群去中心化
9、支持对Master/Worker cpu load，memory，cpu在线查看
10、支持工作流运行历史树形/甘特图展示、支持任务状态统计、流程状态统计
11、支持补数
12、支持多租户
13、支持国际化
14、还有更多等待伙伴们探索
网盘下载地址：
http://kekewl.org/KkRnvT1Fdrd0
图片：
大数据分布式工作流任务调度系统DolphinScheduler v1.3.4相关推荐
- Easy Scheduler 1.0.2 发布，分布式工作流任务调度系统
Easy Scheduler Release 1.0.2 Easy Scheduler 1.0.2是1.x系列中的第三个版本.此版本增加了调度开放接口.worker分组(指定任务运行的机器组).任务流 ...
- 分布式工作流任务调度系统Easy Scheduler正式开源
分布式工作流任务调度系统Easy Scheduler正式开源 1.背景 在多位技术小伙伴的努力下,经过近2年的研发迭代.内部业务剥离及重构,也经历一批种子用户试用一段时间后,EasyScheduler ...
- 开源分布式工作流任务调度系统Easy Scheduler Release 1.0.2发布
Easy Scheduler Release 1.0.2 Easy Scheduler 1.0.2是1.x系列中的第三个版本.此版本增加了调度开放接口.worker分组(指定任务运行的机器组).任务流 ...
- python分布式任务调度开源_分布式工作流任务调度系统Easy Scheduler正式开源
分布式工作流任务调度系统Easy Scheduler正式开源 背景 在多位技术小伙伴的努力下,经过近2年的研发迭代.内部业务剥离及重构,也经历一批种子用户试用一段时间后,EasyScheduler终于 ...
- 工作流任务调度系统：Apache DolphinScheduler
1 概述 Apache DolphinScheduler(目前处在孵化阶段)是一个分布式.去中心化.易扩展的可视化DAG工作流任务调度系统,其致力于解决数据处理流程中错综复杂的依赖关系,使调度系统在数 ...
- 电商数仓描述_笔记-尚硅谷大数据项目数据仓库-电商数仓V1.2新版
架构 项目框架 数仓架构 存储压缩 Snappy与LZO LZO安装: 读取LZO文件时,需要先创建索引,才可以进行切片. 框架版本选型Apache:运维麻烦,需要自己调研兼容性. CDH:国内使用最 ...
- 遇见未知的Saturn |准备篇:分布式定时任务调度系统技术解决方案(xxl-job、Elastic-job、Saturn)
1.业务场景 保险人管系统每月工资结算,平安有150万代理人,如何快速的进行工资结算(数据运算型) 保险短信开门红/电商双十一 1000w+短信发送(短时汇聚型) 工作中业务场景非常多,所涉及到的场景 ...
- quarts集群 运维_分布式定时任务调度系统技术解决方案(xxl-job、Elastic-job、Saturn)...
1.业务场景 保险人管系统每月工资结算,平安有150万代理人,如何快速的进行工资结算(数据运算型) 保险短信开门红/电商双十一 1000w+短信发送(短时汇聚型) 工作中业务场景非常多,所涉及到的场景 ...
- 图解大数据 | 分布式平台Hadoop与Map-Reduce详解
作者:韩信子@ShowMeAI 教程地址:https://www.showmeai.tech/tutorials/84 本文地址:https://www.showmeai.tech/article-d ...
最新文章
- 如何识别出轮廓准确的长和宽
- RTEMS实时操作系统精要(1)-简介
- python文件可以包括任何数据内容_python 文件数据合并(数据行不对应)？
- 使用 C# (.NET Core) 实现模板方法模式 (Template Method Pattern)
- 阿里前端开源的一些产品
- 【报告分享】2021年全国毕业生起薪点薪酬报告.pdf（附下载链接）
- docker配置 nacos_Docker下Nacos配置应用开发
- 设置或者获取CheckboxList控件的选中值
- stat，查看文件属性
- 函数判断的和是用android,WPJAM Basic 内置的系统和设备判断函数
- 三角形中重心、内心、外心、垂心向量计算公式
- ImageNet中1000类目标的编号所对应的具体类别
- Stable Diffusion 抠图工具使用小记
- 更改微信会员卡包内展示信息
- Web前端开发 icon图标 转 web字体图标
- 【OpenCV 例程200篇】205. 调节色彩平衡/饱和度/明度
- 最全小布老师所有视频推荐--oracle视频资料库
- 异步请求 ajax的使用详解
- java 实现输出水仙花数
- ”真相是否只有一个？”麻省理工学院带你数据可视化分析假新闻