主流大数据调度工具对比(DolphinScheduler特点)

大数据环境下，调度工具比不可少，离线批任务和准实时任务都需要调度去驱动。下文介绍主流大数据调度工具对比DolphinScheduler 、Azkaban、Airflow、Oozie、Xxl-job

Apache DolphinScheduler是一个分布式去中心化，易扩展的可视化DAG工作流任务调度系统。致力于解决数据处理流程中错综复杂的依赖关系，使调度系统在数据处理流程中开箱即用，目前已累计有 400+ 公司在生产上使用。

特点

高可靠性

去中心化的多Master和多Worker, 自身支持HA功能, 采用任务队列来避免过载，不会造成机器卡死

简单易用

DAG 监控界面，所有流程定义都是可视化，通过拖拽任务定制DAG，通过API方式与第三方系统对接, 一键部署

丰富的使用场景

支持暂停恢复操作. 支持多租户，更好的应对大数据的使用场景. 支持更多的任务类型，如 spark, hive, mr, python, sub_process, shell

高扩展性

支持自定义任务类型，调度器使用分布式调度，调度能力随集群线性增长，Master和Worker支持动态上下线

主要能力

Task以DAG形式关联，实时监控任务的状态。
支持Shell、MR、Spark、SQL、依赖等10多种任务类型。
工作流优先级、任务优先级，全局参数及局部自定义参数
工作流可定时、依赖、手动、暂停/停止/恢复
支持补数、多租户、日志在线查看及资源在线管理
完善的系统服务监控，任务超时告警/失败。
去中心化设计确保系统的稳定、高可用。
支持每日十万数据量级任务稳定运行

参考：https://blog.csdn.net/qq_40822132/article/details/121469748

主流大数据调度工具对比(DolphinScheduler特点)相关推荐

主流大数据调度工具对比
大数据环境下,调度工具比不可少,离线批任务和准实时任务都需要调度去驱动.下文介绍主流大数据调度工具对比DolphinScheduler .Azkaban.Airflow.Oozie.Xxl-job 非 ...
大数据任务调度工具 Apache DolphinScheduler
文章目录大数据任务调度工具 Apache DolphinScheduler 项目亮点 DolphinScheduler 简介调度系统选型为什么大数据要选择 DolphinScheduler Do ...
Apache DolphinScheduler征稿 — 小Demo轻松入门DolphinSchedule大数据调度工具
文章目录官方文档 | [GitHub源码](https://github.com/apache/dolphinscheduler) 一.从实际需求入手,我们为何要选择使用DolphinSchched ...
大数据调度系统为什么选型Apache DolphinScheduler ?
table of contents 一 .背景二 .定位三 .案例四 .竟品对比五 .DolphinScheduler简介六 .社区发展七.性能数据参考一 .背景今天跟客户聊天的时候, ...
主流的数据可视化工具介绍
作为一个自诩对全球分析平台了如执掌的资深数据从业人员,给各位分享分享主流的数据可视化工具. 一.可视化平台 1.FineBI 虽作一个BI工具,但是可视化效果很好,可制作Dashboard.优势在于一 ...
python 3d大数据可视化软件_十大顶级大数据可视化工具推荐
要使数据分析真正有价值和有洞察力,就需要高质量的可视化工具.市场上有很多产品,特点和价格各不相同,本文列出了一些广泛认可的工具.其实企业如何选择一个合适的可视化工具,并不是一件容易的事情,需要仔细的考 ...
大数据工程师常用的大数据BI工具是什么?
大数据工程师常用的大数据BI工具是什么? [导语]目前,无论是大企业还是小企业,都面临着数字化转型的挑战.如何在大数据中获得更好地洞察力,有效改善用户体验,同时达到优化生产力的效果,这时候进行数据分析 ...
当我们在聊「开源大数据调度系统Taier」的数据开发功能时，到底在讨论什么？
原文链接:当我们在聊「开源大数据调度系统Taier」的数据开发功能时,到底在讨论什么? 课件获取:关注公众号__ "数栈研习社",后台私信 "Taier"__ ...
大数据可视化工具圈里的春秋战国
大数据可视化工具因其能将数字变成酷炫的图表而进入大众视野,但大家对该产品的了解还很有限,本文将从竞争格局.发展现状以及未来趋势三个维度具体探究大数据可视化工具市场的发展. 大数据可视化工具的市场竞争格 ...

主流大数据调度工具对比(DolphinScheduler特点)

主流大数据调度工具对比(DolphinScheduler特点)相关推荐

最新文章

热门文章